普通 高 校本 科 计 算 机 专业 特色 教材 精 选 .算法 与 程序 设计 


计算 智能 


清华 大 学 出 版 社 . d j 


普通 高 校本 科 计 算 机 专业 特色 教材 精 选 。 算 法 与 程序 设计 


计算 智能 


Ko € BSE 陈 伟 能 Pere 
Re BAR Fma FI 编著 


BE AS Oe 
北 京 


内 容 简 介 


本 书 对 计算 智能 领域 的 主要 算法 进行 介绍 ,重点 讨论 各 种 算法 的 思想 来 源 .流程 结构 .发展 改 进 LS 
数 设 置 和 相关 应 用 ,内 容 包 括 绪 论 以 及 神经 网 络 .模糊 逻辑 .遗传 算法 , 收 群 优化 算法 .粒子 群 优化 算法 、 
免疫 算法 .分布 估计 算法 .Memetic 算法 .模拟 退火 算法 和 禁忌 搜索 算法 等 计算 智能 领域 的 典型 算法 。 
本 书 通 俗 易 懂 , 图 文 并 茂 , 深 入 浅 出 ,没有 其 他 算法 书 中 大 量 公式 .定理 , 证 明 等 难 懂 的 内 容 , 而 是 通过 大 
量 的 图 表示 例 对 各 个 算法 进行 说 明和 介绍 。 本 书 不 但 提供 了 算法 实现 的 流程 图 和 伪 代 码 , 而 且 通 过 具 
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普通 高 校本 科 计 算 机 专业 


计算 机 问世 以 来 , 人工 智 能 (Artificial Intelligence, AL) 一 直 是 计算 机 
科学 家 追求 的 目标 之 一 。 作为 人 工 智 能 的 一 个 重要 领域 , 计算 智 
能 (Computational Intelligence, CI) 因 其 智能 性 、 并 行 性 和 健壮 性 , 具有 很 好 
的 自 适 应 能 力 和 很 强 的 全 局 搜索 能 力 , 得 到 了 众多 研究 者 的 广泛 关注 , A 
前 已 经 在 算法 理论 和 算法 性 能 方面 取得 了 很 多 突破 性 的 进展 , 并 且 已 经 被 
广泛 应 用 于 各 种 领域 , 在 科学 研究 和 生产 实践 中 发 挥 着 重要 的 作用 。 
计算 智能 是 受到 大 自然 智慧 和 人 类 智慧 的 局 发 而 设计 出 的 一 类 算法 
的 统称 。 随 着 技术 的 进步 , 在 科学 研究 和 工程 实践 中 遇 到 的 问题 变 得 越 
来 越 复杂 , 采用 传统 的 计算 方法 来 解决 这 些 问题 面临 着 计算 复杂 度 高 、 计 
算 时 间 长 等 问题 , 特别 是 对 于 一 些 NP (Non- deterministic Polynomial ) 难 问 
ma, 传统 算法 根本 无 法 在 可 以 忍受 的 时 间 内 求 出 精确 的 解 。 因此 , 为 了 在 
求解 时 间 和 求解 精度 上 取得 平衡 , 计算 机 科学 家 提出 了 很 多 具有 局 发 式 特 
征 的 计算 智能 算法 。 这 些 算 法 或 模仿 生物 界 的 进化 过 程 , 或 模仿 生物 的 
生理 构造 和 身体 机 能 , 或 模仿 动物 的 群体 行为 , 或 模仿 人 类 的 思维 、 语 言 
和 记忆 过 程 的 特性 , 或 模仿 自然 界 的 物理 现象 , 希望 通过 模拟 大 自然 和 人 
类 的 智慧 实现 对 问题 的 优化 求解 , 在 可 接受 的 时 间 内 求解 出 可 以 接受 的 
解 。 这 些 算法 共同 组 成 了 计算 智能 优化 算法 。 
目前 , 计算 智能 算法 在 国内 外 得 到 广泛 的 关注 , 已 经 成 为 人 工 智 能 以 
及 计算 机 科学 的 重要 研究 方向 。 计算 智能 还 处 于 不 断 发 展 和 完善 的 过 
EE, 目前 还 没有 牢固 的 数学 基础 , 国内 外 众多 研究 者 也 是 在 不 断 的 探索 中 
前 进 。 计算 智能 技术 在 自身 性 能 的 提高 和 应 用 范围 的 拓展 中 不 断 完善 。 
计算 智能 的 研究 、 发 展 与 应 用 , 无 论 是 研究 队伍 的 规模 、 发 表 的 论文 数 
量 , 还 是 网 上 的 信息 资源 , 发 展 速 度 都 很 快 , 已 经 得 到 了 国际 学 术 界 的 广 
ZAT, 并 且 在 优化 计算 、 模 式 识别 、 图像 处 理 、 自 动 控 制 、 经 济 管理 、 机 
械 工 程 、 电 气 工程 、 通 信和 网 络 和 生物 医学 等 多 个 领域 取得 了 成 功 的 应 用 ， 
应 用 领域 涉及 国防 、 科 技 、 经济、 工业 和 农业 等 各 个 方面 。 相 关 的 国际 会 


议和 学 术 期 刊 为 计算 智能 的 研究 提供 了 良好 的 学 术 环 境 和 人 研究 氛围 。 1994 年 , IEEE 神经 
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计算 智能 
网 络 委 员 会 主持 召开 了 第 一 届 进 化 计算 国际 会 议 , 并 成 立 了 IEEE 进化 计算 委员 会 , 此 会 
议 每 2 年 与 IEE 神经 网 络 国际 会 议 、IEEE 模糊 系统 国际 会 议 在 同一 地 点 先后 连续 举行 ， 
GRA IEEE 计算 智能 国际 会 议 。 认识 、 了 解 和 学 习 计 算 智能 算法 已 经 成 为 广大 理工 科大 
学 生 和 研究 生 的 迫切 需要 ; 掌握 计算 智能 相关 算法 的 基本 知识 , 熟练 地 运用 这 些 算法 去 
解决 实际 应 用 中 通 到 的 问题 , 也 已 经 成 为 广大 科学 工作 者 和 工程 技术 人 员 的 必 备 技能 。 

本 书 介绍 典型 的 计算 智能 方法 , 重点 讨论 各 种 算法 的 思想 来 产 、 流 程 结构 、 发 展 改 
进 、 参 数 设 置 和 相关 应 用 , 内 容 共 分 10 章 。 第 1 章 是 绪论 , ZENB ARE EHR 
知识 及 其 分 类 与 理论 、 研 究 与 发 展 、 特 征 与 应 用 等 进行 概要 介绍 ; 第 2 章 介绍 神经 网 络 
(Neural Network, NN) ; 第 3 章 介 绍 模糊 逻辑 (Fuzzy Logic, FL); 第 4 章 介 绍 遗 传 算法 (Genetic 
Algorithm, GA); 第 5 章 介 绍 蚁 群 优化 算法 (Ant Colony Optimization, ACO); 第 6 章 介 绍 粒 子 群 
优化 算法 (Particle Swarm Optimization, PSO); 第 7 章 介 绍 免疫 算法 (Immune Algorithm, IA) ; 第 
8 章 介 绍 分 布 估计 算法 (Estimation of Distribution Algorithm, EDA); 第 9 章 介 绍 Memetic 算法 
(Memetic Algorithm, MA); 第 10 章 介绍 模拟 退火 (Simulated Annealing, SA) 以 及 禁 忆 搜索 (Ta- 
bu Search, TS) 算法 。 

计算 智能 算法 本 身 是 对 自然 界 智慧 和 人 类 智慧 的 模仿 , 其 思想 来 源 和 基本 原理 本 来 
BLA eS RISE NEI, 因此 本 书 在 对 各 种 算法 进行 介绍 的 时 候 , 力求 做 到 通俗 易 懂 ， 
图 文 并 茂 , 深入 浅 出 。 本 书 的 每 一 章 都 以 生动 的 图 示 开 头 , 尝试 用 最 直观 、 最 通俗 的 形 
式 去 展示 各 种 算法 的 思想 原理 和 基本 特征 , 有 助 于 读者 快速 、 形 象 、 深 刻 地 对 算法 进行 
认识 和 把 握 。 在 叙述 的 过 程 中 , 本 书 疫 有 其 他 算法 书 中 大 量 公 式 、 定 理 、 证 明 等 难 懂 的 
内 容 , 而 是 通过 大 量 的 图 表示 例 对 各 个 算法 的 思想 来 源 、 流程 结构 、 发 展 改 进 、 参 数 设 
置 和 相关 应 用 等 方面 进行 说 明和 介绍 , 不 但 提供 了 算法 实现 的 流程 图 和 伪 人 代码, 而 且 通 
过 具体 的 应 用 举例 对 算法 的 使 用 方法 和 使 用 过 程 进行 说 明 , 同时 提供 了 大 量 经 典 而 重要 
的 参考 资料 , 为 读者 进一步 深入 学 习 和 理解 算法 提供 方便 。 本 书 的 部 分 插图 来 源 于 网 
络 的 自由 资源 和 Microsoft Office 软件 提供 的 剪贴 板 画 , 我 们 对 此 表示 感谢 。 

本 书 编写 的 分 工 如 下 : 中 山大 学 的 张 军 教授 负责 全 书 的 编写 与 统 稿 工作 , BRIEFS 
与 编写 了 第 1.2. 6, 1038 , 陈 赵 参与 编写 了 第 3 章 , 许 瑞 填 参与 编写 了 第 4 章 , HRA 
与 编写 了 第 5 章 , 官 焰 参与 编写 了 第 7 章 , 钟 竞 辉 参与 编写 了 第 8 章 , 陈 伟 能 参与 编写 了 
第 9 章 。 


由 于 编者 水 平 有 限 , BERGE IRN, 布 望 广大 读者 批评 指正 。 


张 军 
2009 Œ 6 H 
于 中 山大 学 
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在 很 多 情况 下 ， 这 些 
部 是 非 融 难 解 的 问题 。 


企 生产 实践 、 科 学 研究 、 经 济 官 理 、 
日 前 生 活 中 ， 我 们 经 常会 过 到 形形色色 
的 最 优化 问题 。 

例如 要 在 最 短 的 时 间 内 完成 最 多 
的 工作 量 ; 要 用 更 少 的 资源 完成 更 多 
的 任务 ; 要 合理 安排 每 一 项 工作 使 得 


效益 最 大 ese 


面 对 这 种 组 合 爆炸 的 最 优化 问题 ， 
传统 方法 的 求解 速度 太 慢 ,怎么 办 ? 
在 这 种 情况 下 ,我 们 可 以 尝试 使 
| 用 计算 智能 优化 方法 ,对 这 些 难 解 问 
E 题 进行 优化 求解 。 以 求 在 可 以 接受 的 
“时 间 内 得 到 令 人 满意 的 求解 结果 。 


计算 智能 (Computational Intelligence, CD 方法 主要 包括 : 
e 证 经 网 络 (Neural Network, NN); 
“模糊 逻辑 (Fuzzy Logic, FL); 
e HE tik (Genetic Algorithm, GA); 
s WEED AL BE (Ant Colony Optimization , ACO): 
ed BEULTL ELE (Particle Swarm Optimization , PSO); 
e IF TEE (Immune Algorithm, TA); 
* 分 布 估计 算法 (Estimation of Distribution Algorithm, EDA): 
e Memetic 算法 (Memetic Algorithm, MA); 
e iE X (Simulated Annealing, SA); 
e EE LS PEZ (Tabu Search, TS), 
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随 着 技术 的 进步 ,在 工程 实践 中 过 到 的 问题 变 得 越 来 越 复 杂 , 来 用 传统 的 计算 方法 来 
解决 这 些 问 题 面临 着 计算 复杂 度 高 ,计算 时 间 长 等 问题 ,特别 是 对 于 一 些 NP Non- 
deterministic Polynomial) 难 问题 ,传统 算法 根本 无 法 在 可 以 忠 受 的 时 间 内 求 出 精确 的 
解 。 因 此 ,为 了 在 求解 时 间 和 求解 精度 上 取得 平衡 ,计算 机 科学 家 们 提出 了 很 多 具有 启发 
式 特 征 的 计算 智能 方法 。 这 些 算法 或 模仿 生物 界 的 进化 过 程 ,或 模仿 生物 的 生理 构 造 和 
身体 机 能 ,或 模仿 动物 的 群体 行为 ,或 模仿 人 类 的 思维 .语言 和 记忆 过 程 的 特性 ,或 模仿 上 自 
IE : 现 对 问题 的 优化 求解 ,在 可 接受 的 
时 间 内 求解 出 可 以 接受 的 解 。 这 些 算法 共同 组 成 了 计算 智能 优化 算法 。 计 算 乔 能 因 其 入 
能 性 、 并 行 性 和 健壮 性 ,具有 很 好 的 日 适应 性 和 很 强 的 全 局 搜索 能 力 , 得 到 了 众多 全 究 者 
的 广泛 关注 ,已 经 在 算法 理论 和 算法 性 能 方面 取得 了 很 多 突破 性 的 进展 ,而 且 已 经 被 广泛 
应 用 于 各 种 领域 ,在 科学 人 研究 和 生产 实践 中 发 挥 着 重要 的 作用 。 

本 草 是 绪论 ,目的 是 给 读者 展现 计算 智能 算法 的 整体 面 狐 。 本 章 将 从 计算 智能 算法 
的 分 类 与 理论 .全 究 与 发 展 , 以 及 特征 与 应 用 等 几 个 方面 进行 介绍 SE SE OT BE PT a 
能 领域 有 一 个 初步 的 认识 和 了 解 。 计 算 镶 能 算法 主要 包括 模糊 逻辑 .神经 网 络 . 遗传 鼻 
法 . 蚁 群 优化 算法 ,粒子 群 优化 算法 .免疫 算法 .分布 估计 算法 .Memetic 算法 .模拟 退火 算 
法 和 禁忌 搜索 算法 等 ,我 们 将 在 后 面 的 章节 对 每 个 算法 进行 深入 学 习 。 本 章 的 具体 内 容 
如 下 。 

(1) 最 优化 问题 。 

(2) 计算 复杂 性 及 NP 理论 。 

(3) 智能 优化 计算 方法 : 

。 RA BETTE 

。 TRA BEN RAS IC 

。 计算 智能 的 研究 与 发 展 ; 

。 计算 智能 的 特征 与 应 用 。 


1.1 最 优化 问题 


最 优化 问题 是 人 们 在 科学 研究 和 生产 实践 中 经 常 遇 到 的 问题 。 人 类 所 从 事 的 一 
切 生 产 或 社会 活动 均 是 有 目的 的 ,其 行为 总 是 在 特定 的 价 全 观念 或 审美 取 回 的 文 配 下 进 
行 的 ,因此 经 帝 面 临 求解 一 个 可 行 的 甚至 是 最 优 的 方案 的 决策 问题 ,这 了 驶 是 所 博 的 最 优化 
问题 (Optimization Problem) 。 

最 优化 问题 的 求解 模型 如 公式 (1.1) 所 示 。 


etie XcD (1.1) 
x.)» 表示 一 组 决策 变量 ， ev e IM A uis fi xX( 一 组 最 佳 的 


决策 变量 ) ,使 得 X 对 应 的 函数 映射 值 FCX) 最 小 (最 大 ) 。 
根据 决策 变量 v. 的 取 值 类 型 ,可 以 将 最 优化 问题 分 为 函数 优化 问题 和 组 合 优 化 问题 
两 大 类 。 我 们 称 决 策 变量 均 为 连续 变量 的 最 优化 问题 为 函数 优化 问题 ; 若 一 个 最 优化 问 


冲 的 全 部 决策 变量 均 离 敌 取 值 , 则 称 为 组 合 优 化 问题 。 当 然 , 也 有 许多 应 用 问题 的 数学 模 
型 表现 为 混 合 类 型 ， 即 模 型 的 部 分 决策 变量 为 连续 型 ,部 分 决策 变量 为 离散 型 。 此 外 , 根 
据 最 优化 问题 中 的 变量 约束 目标、 问题 性 质 、 时 间 因 系 和 晴 数 关系 等 不 同情 况 , 最 优化 
问题 还 可 以 分 成 多 种 类 型 ,如 表 1. 1 a 


表 1.1 最 优化 问题 的 分 类 


1.1.1 函数 优化 问题 


半数 优化 问题 对 应 的 决策 变量 均 为 连续 变量 ,如 图 1.1 所 示 , 优 化 问题 f 的 目标 函数 
值 取决 于 其 对 应 的 连续 变量 xis re ttes 的 取信。 
很 多 科学 实验 参数 配置 和 工农 业 生 产 实 戊 者 
面临 这 种 类 型 的 最 优化 问题 。 例 如 在 设计 神经 网 


络 的 过 程 中 ,需要 确定 神经 元 节点 间 的 网 络 连接 权 — n 

重 ,从 而 使 得 网 络 性 能 达到 最 优 。 在 这 种 问题 中 ， 

需要 优化 的 变量 的 取 值 是 某 个 连续 区 间 上 的 值 ,是 之 
一 个 实数 。 各 个 决策 变量 之 间 可 能 是 独立 的 ,也 可 图 1.1 函数 优化 问题 


能 是 相互 关联、 相互 制约 的 ,它们 的 取 值 组 合 构成 
了 问题 的 一 个 解 。 由 于 决 东 变量 是 连续 什 , 因 此 对 每 个 变量 进行 枚 人 举 是 不 可 能 的 。 在 这 
种 情况 下 ,必须 借助 最 优化 方法 对 问题 进行 求解 。 


11.2 组 合 优 化 问题 


和 国 数 优化 问题 不 同 , 组 合 优 化 问题 的 决策 变量 是 离散 取信 的 ,例如 整数 规划 问题 、 
0-1 规划 问题 等 。 和 Research, OR) rf jii 
ft Wi EAS) H: TES R3 Wi] re AG fo EUER £e Ur E PR. ME TURPE. 0 GH 3 fi 388 fo Pd dg fX 
多 领域 ,在 科学 研究 和 生产 实践 中 都 起 着 重要 的 作用 ， 

盟 型 的 组 合 优化 问题 包括 旅行 商 问 题 (Traveling Salesman Problem,TSP) 和 0-1 $$ 
B jo) #2 (Zero/One Knapsack Problem,ZKP/0-1KP/KP)。 这 了 两 个 问题 分 别 是 一 种 基于 排 
序 的 组 合 优化 问题 和 一 种 基于 二 进 制 取 值 的 组 合 优 化 问题 ,代表 了 组 合 优化 问题 的 两 种 
重要 类 型 。 定 义 1.1 和 定义 1.2 分 别 给 出 了 这 两 个 问题 的 描述 以 及 最 优化 模型 。 

定义 1.1 旅行 商 问 题 (Traveling Salesman Problem. TSP) 

设 有 个 城市 ,任意 两 个 城市 之 间 的 距离 如 和 矩阵 DS (Cda nxn Gog = 152500) AN 
其 中 di 表示 从 城市 i — 的 距离 。 旅 行商 问题 就 是 需要 寻找 这 样 的 一 种 周游 方案 : 
周游 路 线 从 某 个 城市 开始 ,经 过 每 个 城市 一 次 且 仪 一 次 ,最 终 回 到 出 发 城市 ,使 得 周游 的 
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路 线 总 长 度 最 短 。 数 学 化 之 后 束 古 求解 如 公式 (1.2) 所 示 的 一 个 最 小 从 问题 。 
= min a; A iy) (1.2) 


其 中 ai) Bean Jed EY: P i PTT AY aS Tf HU ratl) =r), 

一 般 的 旅行 商 问题 都 是 对 称 旅 行商 问题 (Symmetrical TSP,STSP), 即 对 任意 isj 有 
dj =d; Z WR FF EEA ij Ef di Adi WH. i Æj, WERA JE Xt ER HR IT E i 
(Asymmetrical TSP, ATSP), 

定义 1.2 0-1 背包 问题 (Zero/One Knapsack Problem.ZKP/0-1KP/KP) 

给 定 一 个 闻 载 量 为 c INT A n Pe SMA a Aw, 和 w; Wan dsisn), WH 
BIE TI LW i «TE POE SEHE 2 I AR OB 88786 BO i PAA MK. BUE TE 
就 是 求解 如 下 的 一 个 带 约束 条 件 的 最 大 值 问题 。 


z — max 2 pv; 其 中 x; € {0.1} 
ni (1.3) 
日 满足 限制 条 件 Yi < 
i=l 


其 中 zx; 表示 物品 的 选择 情况 ,zx 二 1 代表 选择 第 i 个 物品 ,x; 二 0 表示 不 选择 。 

从 定义 1.1 可 以 看 出 ,对 于 一 个 城市 的 对 称 TSP, 如 果 通 过 枚 举 的 方法 ,将 会 产生 
(n 一 1)1 个 可 能 解 ;而 定义 1. 2 则 反映 了 面 对 一 个 需要 处 理 个 物品 的 背包 问题 ,如 果 采 
用 枚 举 的 方法 确定 对 某 个 物品 的 取舍 , 那 将 会 产生 2" 个 解 。 无 论 是 (n 一 1)1 还 是 2", 它 
们 都 可 以 看 作 是 规模 的 指数 函数 , 当 比较 大 的 时 候 , 我 们 所 面 对 的 将 是 非常 庞大 的 解 
空间 。 因 此 , 枚 举 的 方法 只 能 处 理 一 些小 规模 的 组 合 优化 问题 。 对 于 大 规模 问题 ,我 们 通 
过 借助 智能 优化 计算 方法 ,可 以 在 合理 的 时 间 内 求解 得 到 令 人 满意 的 解 ,从 而 满足 实践 的 


1.2 计算 复杂 性 及 NP 理论 


121 计算 复杂 性 


一 般 而 言 ,最 优化 问题 都 是 一 些 “ 难 解 ” 的 问题 。 以 前 面 给 出 的 旅行 商 问 题 和 0-1 
冶 包 问题 为 例 , 虽 然 它 们 的 定义 非常 便 单 匈 惜 ,但 是 需要 为 它们 寻找 到 一 个 全 局 最 优 
解 并 不 是 一 件 容易 的 事情 。 直 观 地 看 ,旅行 商 问 题 就 是 个 城市 的 一 个 排序 问题 ,如 有 果 
使 用 覃 力 法 去 枚 誉 ,我 们 需要 进行 (n 一 1)1 次 的 枚 举 ;0-1 痛 包 问题 就 古 一 个 nn 位 二 进 
制 的 0、1 取 值 问题 ,0 表示 不 选择 ,1 表示 选择 ,因此 有 2” 种 可 能 。 可 见 , 仅 当 问 题 的 规 
模 比 较 小 (2 较 小 ) 的 时 候 , 枚 举 的 方法 才 是 可 能 的 。 由 于 问题 的 解 空 间 随 者 规模 的 增 
大 而 呈 指 数 级 增长 ,因此 ,我 们 需要 寻找 其 他 有 效 而 且 融 效 的 算法 去 解决 这 类 问题 的 
大 规模 实例 。 

在 计算 机 科学 中 ,我 们 常用 计算 复杂 性 (Computational Complexity) 这 个 概念 来 描 
述 问 题 的 难 易 程度 或 者 算法 的 执行 效率 淖 。 对 于 算法 的 计算 复杂 性 ,我 们 一 般 很 容易 
进行 判断 ,例如 使 用 齐 力 法 去 枚 举 旅 行商 问题 或 者 0-1 背包 问题 的 算法 ,就 是 具有 指数 
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计算 复杂 性 的 算法 。 但 是 ,要 对 一 个 问题 的 计算 复杂 性 进行 判断 就 不 是 一 件 简单 的 事 
情 了 。 

问题 的 计算 复 汪 性 是 问题 规模 的 图 数 , 帮 需要 首先 定义 问题 的 规 醒 。 例 如 对 于 矩阵 
运算 ,第 阵 的 阶 数 可 被 定义 为 回 题 的 规模 。 如 有 琵 求 解 一 个 问题 需要 的 运算 次 数 或 步 缀 数 
是 问题 规模 n 的 指数 浮 数 , 则 称 该 问题 有 指数 时 间 复 琳 性 ;如 有 果 所 需 的 运 径 次 数 古 nn 的 多 
项 式 消 数 , 则 称 它 有 多 项 式 时 间 复 杂 性 。 对 于 某 个 具体 问题 ,其 复杂 性 上 界 是 已 知 求解 该 
问题 的 最 快 算法 的 复杂 性 ,而 复杂 性 下 界 只 能 通过 理论 证 明 来 建立 。 证 明 一 个 问题 的 复 
杂 性 下 界 需 要 证 明 不 存在 任何 复杂 性 低 于 下 界 的 算法 。 显 然 , 建 立 下 界 要 比 确定 上 界 困 
难得 多 。 

例如 , 覃 力 枚 举 算法 作为 求解 旅行 商 问 题 和 0-1 背包 问题 的 一 种 算法 ,算法 是 指数 
复杂 性 的 (阶乘 往往 比 指数 的 复杂 性 更 高 ), 因 此 ,这 两 个 问题 的 复杂 性 上 界 都 是 指数 
的 。 那 么 ,是否 存 在 一 种 多 项 式 复 杂 性 的 算法 对 这 两 个 问题 进行 求解 呢 ? 到 目击 为 
IE ,还 没有 找到 ,但 是 还 不 能 证 明 其 不 存在 。 大 多 数 计 算 机 科学 家 都 认为, 这些 问题 是 
不 存在 多 项 式 复 好 性 的 求解 算法 的 。 对 于 这 些 问 题 , 习 民 称 为 NP 3E ( Non-deterministic 
Polynomial Hard. NPH) 问题 ,或 者 NB 完全 (Non-deterministic Polynomial Complete. 
NPC) [Fy] et 

从 发 展 趋势 来 看 ,计算 复杂 性 理论 将 深入 到 计算 机 科学 的 各 个 分 支 中 去 。 计 算 机 科 
学 的 发 展 ,特别 古 新 一 代 计 算 机 系统 和 人 工 和 令 能 的 研究 ,又 会 给 计算 禾 洋 性 理论 提出 许多 
新 的 课题 。 计 算 复 杂 性 理论 ,描述 复杂 性 理论 信息论、 数理 逻辑 等 学 科 将 有 可 能 更 紧密 
地 结合 ,得 到 有 关 信 息 加 工 或 信息 活动 的 一 些 深 刻 结 论 。 


1.2.2 NP 理论 


为 了 更 好 地 研究 问题 的 计算 复杂 性 ,计算 机 科学 家 提出 了 有 关 NP 的 理论 外。 下 面 
对 P 类 问题 ,NP 类 问题 ,NP 难 问 题 和 NP 完全 问题 进行 定义 和 解释 。 

为 了 便 化 问题 ,我们 只 考虑 一 类 简单 的 问题 一 一 判定 性 问题 , 即 提出 一 个 问题 ,只 需 
要 回答 “是 ”或 者 “ 否 ” 的 问题 。 任 何 一 般 的 最 优化 问题 都 可 以 转化 为 一 系列 判定 性 问题 ， 
例如 求 某 个 图 中 从 A 3] B 的 最 短路 径 , 可 以 转化 成 : 从 A 到 B 是 否 有 长 度 为 1 的 路 径 ? 
从 A 到 B 是否 有 长 度 为 2 的 路 径 ? 一 直 问 到 从 A 到 B 是 否 有 长 度 为 WERE? 如 果 问 
到 了 的 时 候 回 答 了 “是 ”, 则 集 止 发 问 ,我 们 可 以 说 从 A 到 B 的 最 短路 径 就 是 &。 

定义 1.3 P 类 问题 (Polynomial Problem) 

P 类 问题 是 指 一 类 能 够 用 确定 性 算法 在 多 项 式 时 间 内 求解 的 判定 问题 。 其 实 , 在 非 
正式 的 定义 中 ,可 以 把 那些 在 多 项 式 时 间 内 求解 的 问题 当做 了 类 问题 。 

为 了 定义 NP 类 问题 , 自 先 要 引入 一 个 不 确定 性 算法 (Non-deterministic Algorithm) 

定义 1.4 不 确定 性 算法 (Non-deterministic Algorithm) 

一 个 不 确定 性 算法 包含 两 个 阶段 , 它 把 一 个 判定 问题 的 实例 /作为 它 的 输入 ,并 进行 
如 下 的 两 步 操作 。 

(D JEME CMO BY Be: 生产 一 个 任意 串 $S, 把 它 当 做 给 定 实例 / 的 一 个 候选 解 。 
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(2) 确定 (验证 六 阶段 : 确定 算法 将 7 和 S 作为 它 的 输入 ,如 果 S 是 ! 的 一 个 解 的 
话 , 则 输出 “是 ”。 

如 采 一 个 不 确定 算法 在 验证 阶段 的 时 间 复 淋 度 是 多 项 式 级 别 的 ,我 们 称 它 为 不 确定 
性 多 项 式 算法 。 

现在 ,可 以 定义 NP 类 问题 了 ,如 定义 1.5 所 示 。 

定义 1.5 NP 类 问题 (Non-deterministic Polynomial Problem) 

NP 类 问题 是 指 一 类 可 以 用 不 确定 性 多 项 式 算 法 求解 的 判定 问题 。 例 如 旅行 商 问 题 
的 判定 版 本 就 是 一 个 NP 类 问题 。 虽 然 还 不 能 找到 一 个 多 项 式 的 确定 性 算法 求解 最 小 的 
周游 路 线 ,但 是 可 以 在 一 个 多 项 式 时 间 内 对 任意 生成 的 一 条 “路 线 ” 判 定 是 否 合法 (经 过 每 
个 城市 一 次 且 仅 仅 一 次 )。 

比较 了 了 关 问题 和 NP 类 问题 的 定义 ,我 们 很 容 多 得 到 一 个 绩 论 : PCNP。 但是， 
P— NP 是 否 成 立 , 人 至 今 还 是 计算 机 科学 中 的 一 个 未 解 之 迹 。 不 过 ,由 于 类 似 旅 行商 问题 
和 0-1 背包 问题 这 种 难度 很 高 的 组 合 判 定 问题 的 存在 ,人 们 更 倾 问 于 相信 了 是 不 等 于 NP 
的 ,也 就 是 说 ,NP 类 问题 除了 了 类 问题 之 外 ,还 包含 一 种 问题 ,我 们 称 之 为 NP 完全 问 
题 , 如 定义 1.6 Bron. 

定义 1.6 NP 完全 问题 (NP Complete Problem) 

一 个 判定 问题 D 是 NP 完全 问题 的 条 件 是 ， 

(1) DEAT NP 25; 

(2) NP 中 的 任何 问题 都 能 够 在 多 项 式 时 间 内 转化 为 D. 

男 外 ,在 定义 1.6 中 ,一 个 满足 条 件 (2) 但 不 满足 条 件 (1) 的 问题 被 称 为 NP 难 问 题 。 
也 就 是 说 ,NP 难 问题 不 一 定 是 NP 类 问题 ,例如 图 灵 信 机 问题 。 正 式 地 说 ,一 个 NP 难 问 
题 至 少 跟 NP 完全 问题 一 样 难 ,也 许 更 难 ! 例如 在 茶 些 
任意 大 的 棋盘 游戏 走出 必 胜 的 下 法 ,就 是 一 个 NP EB 
问题 ,这 个 问题 甚至 比 那 些 NP 完全 问题 还 难 。 

图 1.2 给 出 了 以 上 这 些 问 题 分 类 的 关系 示意 图 ,该 
NEWS | 图 反映 了 NP 类 问题 是 包含 P 类 问题 的 (当然 NP 是 否 等 
mio 问题 分 关 的 关于 示意 图 “于 了 ,这 是 一 个 至 今 还 不 能 证 明 的 难题 )。NP 完全 问题 

一 定 属于 NP 类 问题 ,而 且 属 于 NP 难 问 题 ,但 NP XE In] 


NP 类 问题 


题 不 一 定 是 NP 类 问题 ， 
1.3 起 能 优化 计算 万 法 : 计算 各 能 算法 


随 看 拉 术 的 进步 ,工程 实践 问题 楼 得 越 来 越 复 琳 ,传统 的 计算 方法 面临 看 计算 复 灯 
度 高 .计算 时 间 长 等 问题 ,特别 是 对 于 一 些 NP EA NP 完全 问题 ,设计 用 于 求解 这 些 
问题 的 精确 算法 往往 由 于 其 指数 级 的 计算 有 恬 末 性 而 令 人 无 法 接受 。 对 于 这 些 难 解 问 
是 ,传统 的 精确 算法 根本 无 法 在 可 以 妨 受 的 时 间 内 求 出 解 ,因此 ,为 了 在 求解 时 间 和 求 
解 精 度 上 取得 平衡 , 计 和 民 机 科学 家 们 提出 了 形形色色 具有 局 发 式 特征 的 计 和 方法 ,这 
些 算法 或 模仿 生物 界 的 进化 过 程 ,或 模仿 生物 的 生理 构造 和 号 体 机 能 ,或 模仿 动物 的 
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群体 行为 ,或 模仿 人 类 的 思维 .语言 和 记忆 过 程 的 特性 ,或 模仿 自然 界 的 物理 现象 ,和 希 
望 通过 模拟 大 日 然 和 人 类 的 吞 莫 实现 对 问题 的 优化 求解 ,在 可 接受 的 时 间 内 求解 得 到 
可 接受 的 解 。 这 些 算 法 就 是 智能 优化 计算 方法 ,也 叫 计算 智能 (Computational 
Intelligence. CD $$ 3^ 。 

计算 智能 是 借助 自然 界 ( 生 物 界 ) 规 律 的 启示 ,根据 其 规律 ,设计 出 求解 问题 的 算法 。 
物理 和 学、 化学、 数学 ,生物 学 、 心 理学 ,生理 学 ,神经 科学 和 计算 机 科学 等 学 科 的 现象 与 规律 
都 可 能 成 为 计算 智能 算法 的 基础 和 思想 来 源 。 从 关系 上 说 ,计算 乔 能 属于 人 工 智 能 
(Artificial Intelligence. AD M—# 47 SEL), QA 1.3 Bros ,不 同 的 学 者 根据 其 对 人 工 智 
能 理解 的 不 同 ,形成 了 逻辑 主义 ,行为 主义 和 联结 主义 三 大 学 派 。 逻 辑 主 义 , 又 称 为 符号 
主义 ,心理 学 派 或 计算 机 学 派 , 其 原理 主要 为 物理 符号 系统 假设 和 有 限 合 理性 原理 。 这 一 
"E KIA A A TE BE DAT CB WW A TE BET WES E 71 1 EL 7S 9I BE BS TTI, 38 1:43 
人 类 认 知 系统 所 具备 的 功能 和 机 能 ,然后 用 计算 机 模拟 这 些 功 能 ,实现 人 工 智 能 。 行 为 主 
义 , 又 称 控制 论 学 派 , 其 原理 为 控制 论 及 感知 一 动作 型 控制 系统 。 这 一 学 派 认 为 人 工 智能 
源 于 控制 论 , 认 为 镶 能 取决 于 感知 和 行动 (所 以 被 称 为 行为 主义 ) ,提出 千 能 行为 的 “ 感 
和 一 动作 ”模式 。 联 结 主 义 , 义 称 为 仿生 和 学派 或 生理 和 学派 ,其 原理 主要 为 神经 网 络 及 神经 
网 络 间 的 连接 机 制 与 学 习 算 法 。 这 一 和 学派 认为 人 工 缠 能 源 于 仿生 学 ,特别 是 人 脑 模型 的 
研究 ,包括 神经 网 络 中 和 模糊 迎 辑 中 等 研究 。 此 外 ,仿生 学 方面 出 现 了 进化 计算 0 ,如 
H^ Be DH 等 多 种 计算 智能 优化 算法 。 


I A TIRE (Artificial Intelligence, AT) I 
IIS 行为 主义 联结 主 尺 


又 称 符 号 主义 (Symbolicismy) 、 艾 称 控制 伦 学 沽 (Cyberneticsism)， | | 驻 称 仿生 学 派 (Bionicsism) 或 
心理 学 派 {Psychlogism) 或 计算 其 原理 为 控制 论 太 感知 一 动作 型 生理 学 派 {Physiologism)， 其 
机 学 派 (Computerism) . 其 原理 控制 系统 TAR IA AA LY 原理 为 对 人 类 大 脑 信息 处 理 以 


主要 为 物理 符号 系统 假设 和 有 能 产 于 控制 论 ， 提 出 智能 行为 的 及 对 生物 进化 过 程 的 模拟， 包 
限 人 理性 原理 “感知 一 动作 ”模式 括 模 糊 逻 辑 、 神 经 网 络 和 进化 
计算 等 计算 智能 算法 


图 1.3 人 工 智 能 和 计算 智能 的 关系 

本 书 将 重点 介绍 其 中 的 联结 主义 ,也 就 是 所 谓 的 智能 优化 计算 方法 ,或 者 称 为 计算 知 
能 算法 。 在 这 一 节 , 首 先 对 计算 智能 算法 的 分 类 与 理论 .研究 与 发 展 . 特 征 与 应 用 等 方面 
进行 一 个 概要 的 介绍 ,后 面 的 章节 将 分 别 对 各 种 典型 的 计算 智能 算法 进行 介绍 。 
1.3.1 计算 智能 的 分 类 与 理论 

计算 智能 方法 在 模拟 人 脑 的 联想 .记忆 , 发 散 思维 、 非 线性 推理 .模糊 概念 等 传统 人 工 
智能 难以 胜任 的 方面 表现 优异 ,并 受到 人 们 的 广泛 关注 。 计 算 智能 方法 也 得 到 越 来 越 多 
学 者 的 研究 和 完善 ,并 与 传统 的 人 工 智 能 技术 互相 交叉 、 取 长 补 短 , 使 得 人 工 智能 研究 与 
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计算 智能 


应 用 呈现 出 辐 上 的 发 展 趋 擅 。 

计算 乔 能 算法 主要 包括 神经 计算 ,模糊 计算 和 进化 计算 三 大 部 分 。 如 图 1.4 所 示 , 典 
型 的 计算 智能 算法 包括 神经 计算 中 的 人 工 神经 网 络 算法 -… ,模糊 计算 中 的 模糊 逻辑 HE 
化 计算 中 的 遗传 算法 ”2 、 蚁 和 群 优 化 算法 -: 生 5 粒子 群 优化 算法 "907 a ee EOS) Op 
Mitt SE RU , Memetic 算法 中 ,以 及 单 点 搜索 技术 例如 模拟 退火 算法 "站 、 禁 忌 搜 索 算 
法 [2][23 Ae 


HATE, 人 工 神经 网 络 算法 

模糊 计算 : 模糊 逻辑 
遗传 算法 (进化 策略 ,进化 规划 ) 
| 蚁 群 优化 算法 
粒子 群 优化 算法 

计算 智能 1 进化 计算 1 免疫 算法 

分 布 估计 算法 
Memetic 算法 


单 点 搜索 | 禁忌 搜索 算法 


图 1.4 计算 智能 主要 分 类 一 览 图 


以 上 这 些 计 算 智能 算法 部 有 一 个 共同 的 特征 就 是 通过 模仿 人 类 智能 的 菏 一 个 ( 菏 一 
些 ) 方 面 而 达到 模拟 人 类 智能 ,实现 将 生物 智 甘 ,日 然 界 的 规律 计算 机 程序 化 ,设计 最 优化 
算法 的 目的 。 然 而 计算 智能 的 这 些 不 同人 研究 领域 各 有 其 特点 ,里 然 它 们 具有 模仿 人 类 和 
其 他 生物 智能 的 共同 点 ,但 是 在 具体 方法 上 存在 一 些 不 同 点 。 它 们 的 主要 特点 如 表 1. 2 
所 示 。 


表 1.2 计算 智能 主要 研究 方向 及 其 特点 


研究 领域 主要 特点 
人 工 神 经 网 络 模仿 人 脑 的 生理 构造 和 信息 处 理 的 过 程 ,模拟 人 类 的 智慧 
模糊 逻辑 (模糊 系统 ) 模仿 人 类 语言 和 思维 中 的 模糊 性 概念 ,模拟 人 类 的 智慧 
进化 计算 模仿 生物 进化 过 程 和 群体 智能 过 程 ,模拟 大 上 自然 的 智慧 


然而 在 现 阶段 ,计算 智能 的 发 展 也 面临 严峻 的 挑战 ,其 中 一 个 重要 原因 就 是 计算 智能 
目前 还 缺乏 坚实 的 数学 基础 ,还 不 能 像 物理 、 化 学 .天文 等 学 科 那 样 自如 地 运用 数学 工具 
解决 各 自 的 计算 问题 。 虽 然 神经 网 络 具有 比较 完善 的 理论 基础 ,但 是 像 进 化 计算 等 重要 
的 计算 智能 技术 还 没有 完善 的 数学 基础 。 对 计算 智能 算法 的 稳定 性 和 收敛 性 的 分 析 与 证 
明 还 处 于 研究 阶段 。 通 过 数值 实验 方法 和 具体 应 用 手段 检验 计算 智能 算法 的 有 效 性 和 高 
效 性 是 研究 计算 智能 算法 的 重要 方法 ， 


从 目前 的 研究 来 看 ,计算 智能 的 主要 理论 基础 包括 数学 基础 ,生物 学 基础 和 群体 智能 
基础 等 ,如 表 1. 3 所 示 。 


表 1.3 计算 智能 理论 基础 一 览 表 


数学 基础 群体 智能 
。 马尔 可 夫 过 程 e 个体 认识 
。 统 计 学 习 过 程 。 和 群体 智慧 
。 随机 过 程 。 个 体 竞争 
。 模 式 定理 。 群 体 协作 
。 稳 定性 
+ ie SHE 
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经 过 了 半 个 多 世纪 的 发 展 , 目 前 ,计算 济 能 在 国内 外 得 到 广泛 的 关注 ,已 经 成 为 
ATE BEAKTA DE ZA EWA. K 1.5 给 出 了 计算 和 济 能 的 发 展 历 程 示 
ml. 
(1) 50 年 代 ,美国 学 者 Holland, iir £15 
mem (2) 60 年 代 ,德国 人 Rechenberg 和 Schwefel, 4E HE 
(3) 60 年 代 ,美国 学 者 Fogel, 进化 规划 


a nid (4) 50 年 代 , Rosenblatt A, eA ae (神经 网 络 ) 
(5) 60 年 代 , Zadeh, ESI HHE 


C1) 遗传 算法 、 进 化 第 略 、 进 化 规划 的 理论 基础 不 断 完善 
(模式 定理 ), 算法 之 同 的 区 别 越 来 越 不 明显 

(2) 模拟 退火 算法 (1983 4F ) . SERIE AL (1986 年 ) 的 
提出 提供 了 新 的 优化 手段 

(3) Hopfield 前 馈 型 神经 网 络 结构 (1982 年 )、Rumelhart 后 
回 传 播 学 习 算 法 (1986 年 ) 的 提出 将 神经 网 络 的 研究 推 向 
一 个 新 的 高 潮 


(1) SE EUER (GA). JEU RR CES) FIDELE ALEI (EP) ZA Q0 
在 不 断 地 发 展 和 完美 

(2) 19924F. Dorigo St A FEM TREERE (ACO), AAS 
REHA PEIE ele tee HT ey TL 

(3) 199542, pH Eberhart 和 Kennedy 提出 的 粒子 群 优化 算法 
(PSO) 在 连续 优化 问题 上 得 到 了 广泛 的 应 用 


图 1.5 计算 智能 发 展 历程 示意 图 


计算 鲁能 还 处 于 不 断 发 展 和 完善 的 过 程 , 目 前 还 设 有 牢 回 的 数学 基础 ,国内 外 众多 全 
究 者 也 是 在 不 断 的 探索 中 前 进 。 计 算 知 能 技术 在 自身 性 能 的 提高 和 应 用 范围 的 拓展 中 不 
断 完 善 。 计 算 和 镶 能 的 全 究 发展 与 应 用 ,无 论 是 全 究 队伍 的 规模 、 发 表 的 论文 数量 ,还 是 网 
上 的 信息 资源 ,发展 速度 都 很 快 , 已 经 得 到 了 国际 学 术 界 的 广泛 认可 。 
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相关 的 国际 会 议和 学 术 期 刊 为 计算 智能 的 研究 提供 了 恨 好 的 学 术 环 境 和 人 研究 氛围 。 
1994 F IEEE 神经 网 络 委 员 会 主持 召开 了 第 一 届 进 化 计算 国际 会 议 , 并 成 立 了 IEEE 进 
化 计算 委员 会 ,此 会 议 每 2 年 与 IEEE 神经 网 络 国际 会 议 ,IEEE 模糊 系统 国际 会 议 在 同 
RGR BRAG , 合 称 为 IEEE 计算 智能 国际 会 议 。 表 1.4 9285 p — de RIT S A 
能 全 守成 末 的 国际 尝 术 期 刊 和 重要 国际 会 以 。 


表 1.4 计算 智能 相关 的 学 术 期 刊 和 国际 会 议 


IEEE Transactions on Evolutionary Computation 
IEEE Transactions on Fuzzy Sets 

IEEE Transactions on Neural Networks 

IEEE Transactions on Systems, Man and Cybernetics 


学 术 期 刊 IEEE Transactions on '* 


Machine Learning 
Evolutionary Computation 
Complex Systems 
Artificial Intelligence 


IEEE World Congress on Computational Intelligence (WCCD 
IEEE Congress on Evolutionary Computation (CEC) 
IEEE International Conference on Systems, Man, and Cybernetics (SMC) 
国际 会 议 | ACM Genetic and Evolutionary Computation Conference (GECCO) 
International Conference on Ant Colony Optimization and Swarm Intelligence (ANTS) 


International Conference on Simulated Evolution And Learning (SEAL) 
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计算 智能 方法 采用 局 发 式 的 随机 搜索 策略 ,在 问题 的 全 局 空间 中 进行 搜索 寻 优 ， 
能 在 可 接受 的 时 间 内 找到 全 局 最 优 解 或 者 可 接受 解 。 和 传统 的 优化 算法 比较 ,计算 
智能 算法 在 处 理 优 化 问题 的 时 候 , 对 求解 问题 不 需要 严格 的 数学 推导 ,而 且 有 很 好 
的 全 局 搜索 能 力 , 具 有 普遍 的 适应 性 和 求解 的 健壮 性 。 计 算 智 能 算法 的 主要 特征 如 
表 1.5 所 示 。 

表 1.5 计算 智能 算法 的 基本 特征 一 览 表 

主要 特征 具体 特点 

E Bb TE 包括 算法 的 自 适 应 性 、 自 组 织 性 ,算法 不 依赖 于 问题 本 身 的 特点 ,具有 通用 性 

并 行 性 算法 基本 上 是 以 群体 协作 的 方式 对 问题 进行 优化 求解 ,非常 适合 大 规模 并 行 处 理 

健壮 性 算法 具有 很 好 的 容错 性 ,同时 对 初始 条 件 不 敏感 ,能 在 不 同 条 件 下 寻找 最 优 解 


计算 各 能 算法 已 经 在 优化 计算 、 模 式 识 列 、 图 像 处 理 、 日 动 控制 、 经 济 溃 理 , 机 械 工 程 、 
电气 工程 ,通信 和 网 络 和 分 于 生物 学 等 多 个 领域 取得 了 成 功 的 应 用 ，, 应 用 领域 涉及 国防 、 RI 
KAT MEORUM SE ge 7; 18 ST 1.6 Pros, 


雷达 天 线 设计 
卫星 轨道 参数 优化 
战场 模拟 


军事 物流 优化 
UT 


[10] 
[11] 
[12] 


FHx 


金融 数据 分 析 功率 电子 电路 优化 
证 基 投 次 组合 BRET fs 
企业 现金 流窜 理 入 电网 规划 


机 器 学 习 
数据 挖掘 
图 像 处 理 
模式 识别 


排灌 工程 

水 利水 电工 程 
农业 用 地 结构 优化 
温室 控制 


企业 财务 分 析 与 预警 | 工作 流 调 度 管理 
: "E S EH 
交通 控制 


蛋白 质 结构 预测 
多 目标 优化 
多 播 路 由 


IKEE pat 
农业 工程 


图 1.6 计算 智能 的 应 用 


1.4 ẸYA 


1. 请 列举 出 生活 中 遇 到 的 一 些 最 优化 问题 。 

2. 在 计算 复杂 性 和 NP 理论 中 ,问题 一 般 部 分 为 哪些 类 别 ? 它们 之 间 有 什么 关系 ? 
3. 计算 智能 主要 包括 哪些 研究 领域 ? 它们 有 些 什 么 特点 ? 

4. 请 描述 一 下 计算 智能 的 人 研究 与 发 展 历 程 。 

5. 通过 查阅 相关 参考 文献 ,了 解 计算 智能 在 各 个 领域 的 应 用 情况 。 
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^ 神经 网 络 


神奇 的 大 脑 无 时 不 在 
吸引 着 科学 家 的 兴趣 A 
BAN A AB ce SAL PERE? 
在 计算 机 上 和 能够 仿照 大 脑 
工作 的 原理 吗 ? 


a 


“细胞 体 BS 


科学 家 们 发 现 ,大 脑 工 作 的 基本 单位 
是 神经 元 , 即 伸 经 细胞 。 神经 元 主要 由 细 
胞 体 、 多 个 树 突 和 一 个 轴 突 三 部 分 组 成 ， 
形成 了 大 脑 处 理 信息 的 基本 单元 。 


人 工 神经 网 络 (Artificial Neural Network. ANN) EFFE ZA ENEA 
仲 经 元 、 神 经 系统 等 生理 学 的 研究 取得 了 突破 性 进展 以 及 对 人 脑 的 结构 、 
组 成 和 基本 工作 单元 有 了 进一步 认识 的 基础 上 , 通过 借助 数学 和 物理 的 方 
法 从 信息 处 理 的 角度 对 人 脑 神 经 网 络 进行 抽 稼 后 建立 的 简化 模型 。 


14 whee 


神奇 的 大 脑 无 时 不 在 吸引 着 众多 研究 者 的 兴趣 ,计算 机 科学 家 一 直 都 在 寻找 一 种 能 
赵 模 拟人 类 大 脑 的 算法 ,神经 网 络 作 为 计算 吞 能 的 一 个 重要 分 文 , 是 一 种 通过 对 人 脑 和 神 
经 系统 的 模拟 并 且 用 于 模仿 人 类 生理 活动 的 计算 智能 算法 。 

本 章 将 对 神经 网 络 算法 进行 介绍 ,包括 神经 网 络 算法 的 基本 原理 ,人 研究 进展 ,典型 结 
构 和 学 习 拭 法 。 通 过 对 BP 神经 网 络 的 详细 介绍 ,给 谈 痢 展示 了 设计 和 使 用 神经 网 络 的 
基本 流程 和 基本 要 素 。 最 后 通过 对 进化 神经 网 络 和 神经 网 络 的 得 型 应 用 的 介绍 ,为 读者 
进一步 了 解 神经 网 络 提供 了 相关 的 参考 资料 。 本 章 的 主要 内 容 如 下 : 

。 神经 网 络 简介 ，; 

。 神经 网 络 的 盟 型 续 构 ; 

* 神经 网 络 的 学 习 算法 ; 

。 BP 神经 网 络 ; 

。 进化 神经 网 络 ; 

。 神经 网 络 的 应 用 。 


2.1 神经 网 络 简介 
21.1 和 神经 网 络 的 基本 原理 


神经 网 络 (Neural Network. NN) — Jl th PRN A TH 28 [Dod Z& C Artificial Neural 
Network, ANN) ,是 科学 家 们 在 对 生物 的 神经 元 、 神 经 系统 等 生理 学 的 研究 取得 了 罕 破 
性 进展 以 及 对 人 脑 的 结构 、 组 成 和 基本 工作 单元 有 了 进一步 认识 的 基础 上 ,通过 借助 数学 
和 物理 的 方法 从 信息 处 理 的 角度 对 人 脑 神经 网 络 进行 抽象 后 建立 的 简化 模型 。 作 为 计算 
智能 算法 的 一 个 重要 分 支 ,人 工 神经 网 络 目前 已 成 为 一 门 十 分 热门 的 交叉 学 科 , 它 涉及 了 
生物 .电子 .计算 机 .数学 和 物理 等 尝 科 SHORE ETSI) (E BY oe A BU. 

生物 学 对 神经 系统 结构 的 研究 成 果 是 人 工 神经 网 络 的 基础 。 在 生物 界 中 ,神经 系 
统 的 基本 单位 是 神经 元 。 大 多 数 神经 元 由 一 个 细胞 体 (cell body 或 soma) fil 9€ 
(process) 两 部 分 组 成 。 突 分 两 类 , 即 轴 突 (axon) 和 树 突 (dendrite) ,如 图 2.1 Prax. 4 
突 是 个 突出 部 分 ,长度 可 达 lm, 它 把 本 神经 元 的 输出 发 送 至 其 他 相连 接 的 神经 元 。 树 
细胞 核 


图 2.1 神经 元 结构 基本 示意 图 


突 也 是 突出 部 分 ,但 一 般 较 短 , 且 分 校 很 多 ,与 其 他 神经 元 的 轴 突 相连 ,以 接收 来 和 目 其 
他 神经 元 的 生物 信号 。 轴 突 和 树 突 共同 作用 ,实现 了 神经 元 间 的 信息 传递 。 轴 突 的 来 
端 与 树 突进 行 信号 传递 的 界面 称 为 突 触 (synapse) ,通过 突 触 回 其 他 神经 元 发 送信 息 。 
对 菏 些 突 触 的 刺激 促使 神经 元 触发 (fire)。 只 有 神经 元 所 有 输入 的 总 效应 达到 国 值 电 
平 , 它 才能 开始 工作 。 无 论 什 么 时 候 达 到 立 值 电 平 ,神经 元 虱 会 产生 一 个 全 强度 的 输 
出 窄 脉 冲 , 从 细胞 体 经 轴 突 进入 轴 突 分 校 。 这 时 的 神经 元 就 称 为 被 触发 。 越 来 越 多 的 
证 据 表 明 ,学习 发 生 在 突 触 附近 ,而 且 突 触 把 经 过 一 个 神经 元 轴 突 的 脉冲 转化 为 下 一 
个 神经 元 的 兴奋 信号 或 抑制 信号 ”2 。 

人 工 神 经 网 络 是 由 模拟 神经 元 组 成 的 ,可 把 ANN 看 成 是 以 处 理 单 元 (Processing 
Element,PE) 为 方 点 ,用 加 权 有 问 弧 ( 链 ) 相 互 连 接 而 成 的 有 问 图 。 其 中 ,处理 单元 是 对 生 
理 神经 元 的 模拟 ,而 有 问 弧 则 是 对 轴 突 一 突 触 一 树 突 对 的 模拟 。 有 问 弧 的 权重 表示 两 处 
理 单元 间 相 互 作用 的 强 弱 。 在 简单 的 人 工 神 经 网 络 模 型 中 ,用 权 和 乘法 右 模 拟 突 触 特 性 ， 
用 加 法 需 模 拟 树 突 的 互 连 作 用 ,而 且 与 靖 值 比较 来 模拟 细胞 体内 电化 学 作用 产生 的 开关 
TE ,这 些 关 系 对 照 如 表 2.1 所 示 。 图 2.2 表示 ANN 神经 元 的 组 成 示意 图 。 图 2. 2 中 ， 
z; 表示 来 自 其 他 神经 元 的 输入 ,re 表示 相应 的 网 络 连 接 权 重 , 各 个 输入 乘 以 相应 权重 , 然 
后 相 加 。 把 所 有 总 和 与 国 值 电 平 0( 称 为 神经 元 的 偏 置 ) 比 较 , 当 总 和 高 于 国 值 时 ,其 输出 
为 1; 否则 ,输出 为 0。 大 的 正 权 对 应 于 强 的 兴 理 ,小 的 负 权 对 应 于 允 的 抑制 。 

表 2.1 生物 神经 元 和 人 工 神 经 元 关系 对 照 表 


树 突 输入 层 接收 输入 的 信号 (数据 ) 
细胞 体 加 权 和 加 工 和 处 理 信号 (数据 ) 
轴 突 闭 值 函数 (激活 函数 ) 控制 输出 
Z fih 输出 层 输出 结果 
输入 层 ; r 
BODL BRESCIA BUM LM pi^ Loa 
" 收 笨 人 信号 控制 信号 的 输出 "P 


加 权利 输出 层 


0, 
*a 模拟 神经 元 的 细胞 体 模拟 神经 元 的 突 触 
加 工 和 处 理 接收 到 的 信和 号 对 结果 进行 输出 


图 2.2 ”人工 神经 元 结构 及 功能 示意 图 


212 和 神经 网 络 的 研究 进展 
ANN 是 对 人 类 大 脑 系统 特性 的 一 种 描述 。 它 的 形成 与 发 展 是 生物 学 和 计算 机 科学 
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AE EUR ER Gr x EH]. 1943 4E. McCullonch GU» MZZ) HI Pritts HME AZZ) 发表 
文章 = 提出 了 M-P 模型 。 该 模型 总 结 了 生物 神经 元 的 基本 生理 特性 ,提出 了 神经 元 的 数 
学 插 述 和 网 络 的 结构 方法 ,这 标志 看 神经 网 络 计 算 时 代 的 开始 。 

尽管 神经 网 络 在 早期 取得 了 一 定 的 成 功 ,如 1957 年 Frank Rosenblatc^ zg X. f — 
个 称 为 感知 话 (perceptron) 的 神经 网 络 结构 ,第 一 次 把 神经 网 络 从 纯 理 论 的 探讨 推 回 了 
工程 实现 ,并 掀起 了 神经 网 络 研 究 的 高 潮 。 而 且 该 模型 在 IBM704 机 器 上 的 实现 证 明了 
该 模型 有 能 力 通 过 调整 权重 学 习 达 到 正确 分 类 的 效果 。 但是, Minsky 和 Papert 在 
1969 FER x ( Perceptrons) ^5 指出 感知 器 仅 能 解决 一 阶 谓词 逻辑 ,只 能 完成 线性 划 
分 ,对 于 非 线 性 或 者 其 他 分 类 会 中 到 很 多 困难 ,就 连 简单 的 XOR CGO RERA T o 
由 此 ,神经 网 络 的 人 研究 进入 了 有 反思 期 。 

直到 20 世纪 80 年 代 , 特 别 是 1982 年 Hopfield' 引 提出 的 全 连接 网 络 模 型 才 使 得 人 
们 对 神经 网 络 有 了 新 的 认识 。Hopfield 将 Lyapunov 图 数 引 和 人 到 神经 网 络 中 ,并 且 从 理 
论 上 证 明了 网 络 可 以 达到 稳定 的 离散 和 连续 两 种 情况 ,为 神经 网 络 的 研究 开辟 了 一 条 轿 
新 的 道路 ,揭示 了 神经 网 络 的 研究 存在 无 限 的 发 展 空间 。 此 外 ,Rumelhart 等 人 "站 于 
1986 年 提出 的 反 向 传播 算法 (Back Propagation,BP) ,使 Hopfield 模型 和 多 层 前 馈 神 经 
网 络 成 为 应 用 最 三 沁 的 神经 网 络 模型 ,在 培 言 识别 ,模式 识别 ,图 像 处 理 和 工业 控制 等 领 


JUR INC. K 2.3 给 


出 了 人 工 神 经 网 络 发 展 历程 的 示意 图 。 


A ae ag Ay RH — {RH bz Ry HR 
1940 E£ E 1960 1960F £1970 F 


1943 Œ McCullonch 和 
Pritts 提 出 了 神经 元 的 数 
党 搞 述 和 网 络 的 结构 方 
计算 时 代 的 半 始 。 

1957*E Frank Rosenblatt 


定 父 一 个 称 为 感知 项 的 
钊 经 网 络 结构 , 第 一 次 
把 神经 网 络 从 纯 理 论 的 
探讨 推 同 了 工程 实现 ， 
掀起 了 神经 网 络 研究 的 
EIE 


Minsky 和 Papert 在 1969 

EE Rel Perceptrons?, 
1H HH RABEN OS T 
1A eae. HBesERKEXTDE 
Mor: RTP Fee eae 
他 分 类 会 遇 到 很 多 困难 ， 
就 连 简 单 的 其 DR( 异 或 ) 
问题 都 解决 不 了 由 此 ， 
TES M zs ATT AEA T 


反思 其 


复兴 发 展 时 期 
1980 年 至 1990 年 


1982 年 Hopfield 后 出 的 
至 连接 网 络 醒 型 才 使 符 
人 们 对 神经 网 络 有 了 新 
的 认识 ， 开 胖 了 一 条 新 
1986 年 Rumelhart 等 人 

提出 的 反 回 传播 算法 ， 

使 Hopfield AIR 4 EZ 
FUE Casa fH de D $55 e 73 Jane FH 
最 广 这 的 神经 网 络 模型 


之 一 。 


新 的 发 展 时 期 
1990 年 中 后 期 之 后 


20 世 红 0 年 代 中 后 期 ， 
神经 网 络 研究 进入 了 一 
个 新 的 发 展 阶 段 : 一 方 
[i LE ETE CE AP ETE HR 


化 和 得 到 进一步 推广 ; 
另 一 方面 ， 新 的 理论 和 
方法 也 在 不 断 出 现 。 

并 学 者 经 网 络 、 混 证 神 
经 网 络 .模糊 神经 网 络 、 
进化 神经 网 络 等 新 模型 
陆续 出 现 。 


图 2.3 人 工 神经 网 络 发 展 历程 的 示意 图 


随 着 神经 网 络 在 世界 范围 内 的 复兴 ,国内 外 逐步 掀起 了 研究 的 热潮 ,研究 队伍 的 规模 
在 不 断 地 扩大 ,科研 成 果 也 在 不 断 地 增加 。1987 年 ,第 一 届 国 际 神经 网 络 学 术 会 议 在 美 
国 加 利 福 尼 亚 州 召开 ,此 后 每 年 一 届 的 国际 联合 神经 网 络 大 会 (International Joint 
Conference on Neural Networks,JCNN) 成 了 神经 网 络 人 研究 者 重要 的 学 术 交 流 平 台 。 除 
此 之 外 ,还 有 很 多 重要 的 国际 会 议和 国际 期 刊 都 对 神经 网 络 方面 的 研究 成 果 非 党 重视 , 收 
录 了 很 多 高 质量 的 学 术 文 章 。 表 2. 2 列举 了 一 些 和 神经 网 络 相 关 的 重要 学 术 期 刊 和 国际 


RN. 


表 2.2 神经 网 络 相 关 的 党 术 期 刊 和 国际 会 议 一 览 表 


IEEE Transactions on Neural Networks 

IEEE Transactions on Systems, Man and Cybernetics 
Journal of Artificial Neural Networks 

Journal of Neural Systems 


Neural Networks 


学 术 期 刊 | ! 

Neural Computation 

Networks 

Computation in Neural Systems 

Machine Learning 

International Joint Conference on Neural Networks 
国际 会 议 IEEE International Conference on Systems. Man, and Cybernetics 
a Pa zz 


World Congress on Computational Intelligence 


经 过 半 个 多 世纪 的 发 展 , 人 工 神 经 网 络 受 到 了 广 记 的 关注 。 由 于 其 具有 民 好 的 非 线 
性 性 ,高 度 的 并 行 分 布 性 、 鲁 棱 性 、 容 错 性 和 概 化 能 力 , 人 工 神经 网 络 已 经 在 模式 识别 、 自 
动 控制 \ 信 号 处 理 、 辅 助 决 策 、 人 工 和 鲁能 等 众多 全 究 领域 取得 了 广泛 的 成 功 。 关 于 和 学习、 联 
想 和 记忆 等 具有 智能 特点 过 程 的 机 理 及 其 模拟 方面 的 研究 正 受 到 越 来 越 多 的 重视 。 建 议 
有 兴趣 的 读者 通过 阅读 相关 的 书籍 "和 经 典 的 绿 述 文 草 "来 对 神经 网 络 的 基本 原 
理发 展 历 程 和 人 研 究 现 状 进 行 更 进一步 的 学 习 和 了 人 解 。 


2.2 神经 网 络 的 典型 结构 


人 工 神 经 网 络 有 很 多 种 不 同 的 模型 , 通 第 可 按 以 下 5 个 原则 进行 归 类 。 

。 按照 网 络 的 第 构 区 分 ,有 前 癌 网 络 和 反馈 网 络 。 

© 按照 学 习 方 式 区 分 ,有 有 监督 学 习 网 络 和 无 监督 学 习 网 络 。 

”按照 网 络 性 能 区 分 ,有 连续 型 和 离 敌 型 网 络 , 随 机 型 和 确定 型 网 络 。 

。 按照 突 触 性 质 区 分 ,有 一 阶 线性 关联 网 络 和 高 阶 非 线性 关联 网 络 。 

。 按 对 生物 神经 系统 的 层次 模拟 区 分 ,有 神经 元 层次 模型 .组 合式 模型 \ 网 络 层 次 模 

型 .神经 系统 层次 模型 和 智能 型 模型 。 

通 贡 ,人 们 较 多 地 考虑 神经 网 络 的 互 连 纺 构 。 本 三 将 按照 神经 网 络 连接 模式 ,对 神经 

网 络 的 几 种 典型 第 构 分 别 进行 介绍 。 


22.1 单 层 感知 器 网 络 


单 层 感知 器 是 最 早 使 用 的 ,也 是 最 简单 的 神经 网 
络 结构 ,由 一 个 或 多 个 线性 闵 值 单元 组 成 ,如 图 2.4 所 
示 。 但 由 于 这 种 网 络 结构 相对 简单 ,因此 能 力也 非常 
有 限 , 一 般 比 较 少 用 。 

作为 最 原始 的 、 最 简单 的 神经 网 络 结构 , 单 层 感 EA RE RE Its EUR 
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知 器 是 其 他 很 多 网 络 结构 的 基本 单元 。 图 2.4 所 示 的 神经 网 络 本 身 也 是 由 很 多 个 如 图 
2. 2 所 示 的 人 工 神 经 元 组 合 而 成 的 。 在 前 面 的 图 2.2 中 可 以 看 到 ,神经 元 所 使 用 的 激活 
函数 是 二 值 离散 神经 元 模型 ,也 就 是 如 图 2.5(a) 所 示 的 阔 值 型 激活 图 数 。 但 是 这 种 困 数 
对 非 线性 的 拟 合 程度 非常 有 限 。 因 此 除了 这 种 闭 值 型 的 激活 图 数 , 人 们 还 采用 了 SS 形状 
的 函数 (例如 指数 、 对 数 、 双 曲 正 切 、Sigmoid 困 数 等 ) 或 者 是 分 段 线性 盟 数 。 图 2.5 给 出 
了 这 3 种 不 同 激活 函数 的 图 像 。 其 中 图 2. 5(c) 给 出 的 是 Sigmoid 函数 ,其 函数 表达 式 如 
公式 (2.1) 所 示 , 这 是 神经 网 络 中 使 用 最 广泛 的 激活 函数 。 


(2. 1) 


(a) 国 值 型 (b) 分 段 型 (c) SA 
图 2. 5 几 种 常见 的 激活 函数 
222 4 FI 


Hij 15 204 [ed A 115) fri ^e FH Aii A s 22) jg Je Fe] Pe ig «ELIT FAS 26 DC JE nti — EI FH ZS 
元 相连 «1M Pe S2 B — Ez Pe i AY fe d, HRA ts P AA] 2. 6 Bron. 


图 2.6 前 僻 型 网 络 结 构 示 童 图 


前 侨 型 网 络 使 用 最 为 广泛 的 神经 网 络 模型 ,因为 它 本 喘 的 结构 并 不 复杂 ,学 习 和 调整 
方案 也 比较 容易 操作 ,而且 由 于 采用 了 多 层 的 网 络 结构 ,其 求解 问题 的 能 力 得 到 明显 的 加 
强 , 基 本 上 可 以 满足 使 用 要 求 。 该 种 神经 网 络 的 信号 由 输入 层 传输 到 和 输出 层 的 过 程 中 ,每 
一 层 的 神经 元 之 间 没 有 模 回 的 信息 传输 。 每 一 个 神经 元 受到 前 一 层 全 部 神经 元 的 控制 ， 
控制 能 力 由 连接 权重 决定 。 


2.2.3 前 饶 内 屋 互联 网 络 


这 种 网 络 结构 从 外 部 看 还 是 一 个 前 馈 型 的 网 络 , 但 是 内 部 有 一 些 节 点 在 层 内 互 连 , 网 
络 结构 如 图 2.7 Aras. 


图 2.7 前 馈 内 层 互联 网 络 结构 示意 图 


通常 情况 下 , 同 层 之 间 神 经 元 的 互相 连接 是 自 组 织 竞争 网 络 的 特征 之 一 。 神 经 元 之 
间 的 激励 和 压抑 是 竞争 的 手段 。 
224 反馈 型 网 络 

这 种 网 络 结构 在 输入 输出 之 间 还 建立 了 另外 一 种 关系 ,就 是 网 络 的 输出 层 存在 一 个 
反馈 回路 到 输入 层 作为 输入 层 的 一 个 输入 ,而 网 络 本 身 还 是 前 馈 型 的 ,网 络 结构 如 图 2. 8 
所 示 。 
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图 2.8 反馈 型 网 络 结构 示意 图 
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这 种 神经 网 络 的 输入 展 不 仅 接受 外 界 的 输入 信 N 
号 ,同时 接受 网 络 目 身 的 输出 信和 号。 输出 反 包 信号 可 

以 古 原 她 输出 信号 ,也 可 以 古 经 过 转化 的 输出 信号 ;可 

以 是 本 时 刻 的 输出 信号 ,也 可 以 是 经 过 一 定 延 开 的 输 

出 信号 。 此 种 网 络 经 利用 于 系统 控制 、 实 时 信号 处 理 

等 需要 根据 系统 当前 状态 进行 调节 的 场合 。 
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图 2.9 全 互联 网 络 结构 示意 图 
全 互联 网 络 中 所 有 的 神经 元 之 间 都 有 相互 间 的 连 


接 , 如 Hopfiled 和 Boltgmann 网 络 稳 是 这 种 类 型 ,网 络 第 构 如 图 2. 9 Bron, 
2.3 神经 网 络 的 学 习 算 法 


设计 出 来 的 神经 网 络 和 要 经 历 一 个 学 习 训 练 过 程 。 目 的 是 通过 学 习 不 断 地 调整 和 修正 
网 络 的 参数 。 神 经 网 络 的 等 习 包 括 学 习 方法 和 和 学习 规则 两 个 方面 的 内 容 。 
图 2. 10 给 出 了 关于 神经 网 络 学 习 方 法 和 和 学习 规则 的 分 类 图 。 


,有 监督 和 学习 
学 习 方 法 | 无 监督 学 习 
Fa J 
Hebb 学 习 规 则 
Delta(d) 学习 规 则 
梯度 下 降 学 习 规 则 
学 习 规 则 « Kohonen 学 习 规 则 
后 向 传播 学 习 规 则 
概率 式 学 习 规 则 
竞争 式 学 习 规 则 


图 2.10 神经 网 络 学 习 方法 和 学 习 规 则 的 分 类 图 


神经 网 络 学 习 算 法 


23.1 FADE 


目前 神经 网 络 的 学 习 方法 有 多 种 ,按照 有 无 监督 来 分 类 ,可 以 分 为 有 监督 学 习 
(Supervised Learning) NPS Ii F F Y, Th B y (Unsupervised Learning) 或 称 无 指 
导 学 习 以 及 再 励 学 习 (Reinforcement Learning) JL4 。 

在 有 监督 学 习 方 式 中 ,网 络 的 输出 和 期 望 的 输出 ( 即 监 督 信和 号) 进行 比较 ,然后 根据 两 
者 之 间 的 差异 调整 网 络 的 权重 ,最 终 使 差异 变 小 。 监 督 即 是 训练 数据 本 吴 ,不 但 包括 输入 
数据 ,还 包括 在 一 定 输入 条 件 下 的 输出 。 网 络 根据 训练 数据 的 输入 和 输出 来 调节 本 身 的 
权重 ,使 网 络 的 输出 符合 实际 的 输出 。 在 这 种 学 习 方式 中 ,网 络 将 应 有 的 输出 与 实际 输出 
数据 进行 比较 。 网 络 经 过 一 些 训 练 数据 组 的 计算 后 ,最 初 随机 设置 的 权重 经 过 网 络 的 调 
d ,使 得 和 输出 喝 接近 实际 的 输出 纺 采 ,所 以 学 习 过 程 的 目的 在 于 减 小 网 络 应 有 的 输出 与 实 
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对 于 在 指导 下 学 习 的 网 络 , 网 络 在 可 以 实际 应 用 之 前 必须 进行 训练 。 训 练 的 过 程 是 
把 一 组 输入 数据 与 相应 的 输出 数据 物 进 网 络 。 网 络 根 据 这 些 数据 来 调整 权重 。 这 些 数据 
组 束 称 为 训练 数据 组 。 在 训练 过 程 中 ,每 辆 入 一 组 数据 ,同时 也 告诉 网 络 的 辆 出 应 该 古 什 
么 。 网 络 经 过 训练 后 , 自 认 为 网 络 的 输出 与 应 有 的 输出 间 的 误差 达到 了 人 允许 范围 ,权重 就 
不 再 改动 了 。 这 时 的 网 络 可 用 新 的 数据 去 检验 。 

在 无 监督 学 习 方 式 中 ,输入 模式 进入 网 络 后 ,网 络 按照 一 预 完 设 定 的 规则 (如 竞争 规 
则 ) 日 动 调 整 权 重 , 使 网 络 最 经 具有 模式 分 类 答 功 能 。 没 有 指 守 的 符 习 过 程 指 训练 数据 只 
有 输入 而 没有 输出 ,网 络 必 须根 据 一 定 的 判断 标准 目 行 调整 权重 。 在 这 种 学 习 方 式 下 ,网 
络 不 徘 外 部 的 影响 来 调整 权重 。 也 就 是 说 ,在 网 络 训 练 过 程 中 ,只 提供 输入 数据 而 无 相应 
的 输出 数据 。 网 络 检查 输入 数据 的 规律 或 超 加 ,根据 网 络 本 号 的 功能 进行 幸 整 ,并 不 需要 
告诉 网 络 这 种 调整 是 好 还 是 坏 。 这 种 没有 指导 进行 学习 的 算法 ,强调 每 一 层 处 理 单 元 组 
间 的 协作 。 如 有 果 输 入 信息 使 处 理 单元 组 的 任何 单元 激活 , 则 整个 处 理 单元 组 的 活性 就 增 
强 。 然 后 处 理 单元 组 将 信息 传送 给 下 一 层 单元 。 

再 励 学 习 古 介 于 上 述 两 者 之 间 的 一 种 学 习 方 法 。 


232 学 习 规 则 
神经 网 络 学 习 算 法 的 另 一 个 重点 是 学 习 规 则 。 使 用 比较 普遍 的 学 习 规 则 有 以 下 


‘is 

1. Hebb 学 习 规 则 

这 个 著名 的 规则 是 由 Donald Hebb 在 1949 年 提出 的 中 。 其 基本 规则 可 以 简单 归纳 
为 : 如 果 处 理 单 元 从 另 一 个 处 理 单 元 接收 到 一 个 输入 ,并 且 如 果 两 个 单元 都 处 于 高 度 活 
动 状态 ,这 时 两 单元 间 的 连接 权重 就 要 被 加 强 。 

Hebb 学 习 规 则 是 一 种 联想 式 学 习 方 法 。 联 想 是 人 脑 形象 思维 过 程 的 一 种 表现 形 
式 。 例 如 ,在 空间 和 时 间 上 相互 接近 的 事物 部 容易 在 人 脑 中 引起 联想 。 生 物 学 家 Donald 
Hebb 基于 对 生物 学 和 心理 学 的 研究 ,提出 了 学 习 行为 的 突 触 联系 和 神经 群 理 论 。 认 为 
突 触 前 与 突 触 后 二 者 同时 兴奋 , 即 两 个 神经 元 同时 处 于 激发 状态 时 ,它们 之 间 的 连接 强度 
将 得 到 加 强 , 这 一 论述 的 数学 揪 述 被 称 为 Hebb 学 习 规 则 。 

Hebb 学 习 规 则 是 一 种 没有 指导 的 学 习 方 法 , 它 只 根据 神经 元 连接 间 的 激活 水 平 改 
朗 权 重 , 因 此 这 种 方法 叉 称 为 相关 学 习 或 并 联 学 习 。 

2. Delta(6 ) 学 习 规 则 

Delta 规则 是 最 第 用 的 学 习 规 则 ,其 要 点 是 改变 单元 间 的 连接 权重 来 减 小 系统 实际 输 
出 与 应 有 的 输出 间 的 误差 。 这 个 规则 也 叫 Widrow-Hoff 学 习 规 则 59 ,首先 在 Adaline 模 
型 中 应 用 ,也 可 称 为 最 小 均 方差 规则 ，。 

Delta 规则 实现 了 梯度 下 降 减 少 误差 ,因此 使 误差 图 数 达 到 最 小 值 , 但 该 学 习 规 则 只 
适用 于 线性 可 分 函数 ,无 法 用 于 多 层 网 络 。 此 外 ,后 面 要 介绍 的 BP 网 络 的 学 习 算 法 称 为 
BP 算法 ,是 在 Delta 规则 的 基础 上 发 展 起 来 的 ,可 在 多 层 网 络 上 有 效 地 学 习 。 
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3. th EP be = >) N 

3X Je] Jet 7] SE Ds a A Ag Hag 8] D 25 7S CE, Delta 规则 是 梯度 下 降 规 
则 的 一 个 例子 。 梯 度 下 降 学 习 规 则 的 要 点 为 在 学 习 过 程 中 ,保持 误差 曲线 的 梯度 下 降 。 
误差 曲线 可 能 会 出 现 局 部 的 最 小 值 。 在 网 络 学 习 时 ,应 尽 可 能 摆脱 误差 的 局 部 最 小 值 , 而 
达到 真正 的 误差 最 小 值 。 

4. Kohonen 学 习 规则 

该 规则 是 由 Teuvo Kohonen 在 研究 生物 系统 学 习 的 基础 上 提出 的 ,只 用 于 没有 指 
导 下 训练 的 网 络 。 在 学 习 过 程 中 ,处 理 单元 范 争 学 习 的 时 候 , 具 有 高 输出 的 单元 是 胜利 
者 , 它 有 能 力 阻 止 它 的 竞争 者 并 激发 相 邻 的 单元 。 只 有 胜利 者 才能 有 输出 ,也 只 有 胜利 者 
与 其 相 邻 单元 可 以 调节 权重 。 

在 训练 周期 内 , 相 邻 单元 的 规模 是 可 变 的 。 一 般 的 方法 是 从 定义 较 大 的 相 邻 单元 开 
如 ,在 训练 过 程 中 不 断 减 小 相 邹 的 范围 。 胜 利 单元 可 定义 为 与 输入 模式 最 为 接近 的 单元 。 
Kohonen 网 络 可 以 模拟 输入 的 分 配 。 

S. 后 回 传播 学 习 规 则 

后 问 传 播 (Back Propagation. BP) 学 习 , 是 目前 应 用 最 为 广泛 的 神经 网 络 学 习 规 
则 5 所。 误差 的 后 向 传播 技术 一 般 采 用 Delta 规则 。 此 过 程 涉 及 两 步 ,第 一 步 是 正 反 馈 , 当 
和 肚 入 数据 输入 网 络 , 网 络 从 前 往 后 计算 每 个 单元 的 输出 ,将 每 个 单元 的 输出 与 期 望 的 输出 
进行 比较 ,并 计算 误差 。 第 二 步 是 同 后 传播 ,从 后 问 丽 重新 计算 误差 ,并 修改 权重 。 完 成 
这 两 步 后 才能 输入 新 的 输入 数据 。 这 种 拉 术 一 般 用 在 三 层 或 四 层 网 络 。 对 于 输出 层 , 已 
各 每 个 单元 的 实际 输出 和 应 有 的 输出 ,比较 容 急 计 算 误 老 , 技 巧 在 于 如 何 调 丰 中 间 必 单元 
的 权重 。 

6. 概率 式 学 习 规 则 

从 统计 力学 分 了 于 热力 学 和 概率 论 中 关于 系统 稳 态 能 量 的 标准 出 发 ,进行 神经 网 络 学 
习 的 方式 称 概率 式 学 习 。 神 经 网 络 处 于 菏 一 状态 的 概率 主要 取决 于 在 此 状态 下 的 能 量 ， 
能 量 越 低 的 状态 ,出 现 的 概率 越 大 。 同 时 ,此 概率 还 取决 于 温度 参数 丁 , 丁 越 大 ,不 同 状态 
出 现 概率 的 差 卉 便 越 小 , 较 容 多 跳出 能 量 的 局 部 极 小 点 而 到 全 局 的 极 小 点 , 工 越 小 时 , 情 
形 正好 相反 。 概 率 式 学 习 的 典型 代表 是 玻 尔 效 曼 (Boltzmann) 机 学 习 规 则 ) 。 它 是 基于 
模拟 退火 的 统计 优化 方法 ,因此 叉 称 模拟 退火 式 拭 法 。 

7. 竞争 式 学 习 规 则 

纯 争 式 学 习 属 于 无 教师 学 习 方式 。 这 种 学 习 方 式 是 利用 不 同 层 间 的 神经 元 发 生 兴 奋 
性 连接 以 及 同一 层 内 距离 很 近 的 神经 元 间 发 生 同 样 的 兴奋 性 连接 ,而 距离 较 远 的 神经 无 
产生 抑制 性 连接 。 在 这 种 连接 机 制 中 引入 竞争 机 制 的 学习 方式 称 为 区 争 式 学 习 。 它 的 本 
质 在 于 神经 网 络 中 高 层次 的 神经 元 对 低层 次 神经 元 的 输入 模式 进行 苑 争 识别 。 

部 争 式 机 制 的 思想 来 源 于 人 脑 的 日 组 织 能 力 。 大 脑 能 够 及 时 地 调整 自身 结构 , 晶 动 
地 癌 环 境 学 习 , 完 成 所 宕 执行 的 功能 ,而 并 不 宕 要 教师 训练 。 鞠 争 式 神经 网 络 亦 是 如 此 ， 
所 以 ,又 把 这 一 类 网 络 称 为 日 组 织 神 经 网 络 。 

从 上 述 季 习 规 则 和 学 习 方 法 中 不 难看 出 ,要 使 人 工 神经 网 络 具 有 和 学习 能 力 , 束 要 使 神 
经 网 络 的 知识 结构 变化 , 即 要 使 得 神经 元 间 的 结合 模式 发 生变 化 ,这 同 把 连接 权 癌 量 用 什 
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么 方法 变化 是 等 价 的 。 所 以 ,所 谓 神经 网 络 的 学 习 , 目 前 主要 是 指 通 过 一 定 的 学 习 算 法 实 
现 对 突 触 结合 强度 (连接 权重 ) 的 调整 ,使 其 具有 记忆 .识别 ,分 类 .信息 处 理 和 问题 优化 求 
解 等 功能 。 在 神经 网 络 发 展 过 程 中 ,新 的 学 习 规 则 会 不 断 出 现 。 


2.4 BP 神经 网 络 


241 基本 思想 


根据 网 络 结 构 的 不 同和 学 习 算 法 的 区 别 , 人 工 神 经 网 络 可 以 分 为 很 多 种 不 同 的 类 型 ， 
其 中 后 向 传播 学 习 的 前 任 型 神经 网 络 (Back Propagation Feed-forward Neural Network. 
BPFNN/BPNN) 应 用 最 为 广泛 。 下 面 以 BPNN 为 例 , 说 明神 经 网 络 的 工作 原理 和 运行 

在 BPNN 中 ,后 向 传播 是 一 种 学 习 算法 ,体现 为 BPNN 的 训练 过 程 ,该 过 程 是 需要 监 
督学 习 的 ;前 馈 型 网 络 是 一 种 结构 ,体现 为 BPNN 的 网 络 构 架 , 图 2.6 就 是 一 个 典型 的 前 
馈 型 神经 网 络 。 这 种 神经 网 络 结构 清晰 ,使 用 简单 ,而 且 效 率 也 比较 高 ,因此 得 到 了 广泛 
的 重视 和 应 用 。 反 问 传 播 拭 法 通过 迭代 处理 的 方式 ,不 断 地 调整 连接 神经 元 的 网 络 权 重 ， 
使 得 最 终 输 出 绪 有 和 预期 纺 采 的 误差 最 小 。 

神经 网 络 在 实际 的 应 用 中 分 为 训练 阶段 和 使 用 阶段 ,BPNN 也 不 例外 。 训 练 阶 段 根 
据 给 定 的 样本 ,使 用 适当 的 学 习 算 法 (例如 后 回 传 播 学 习 算 法 ) 调 整 东 种 纺 构 的 网 络 ( 例 如 
前 饥 型 神经 网 络 纺 构 ) 的 网 络 参数 (例如 网 络 结构 的 层 妆 、 每 层 的 神经 元 数目 .连接 权重 、 
神经 元 偏 置 等 ) ,使 得 被 训练 的 网 络 能 够 对 样本 有 很 好 的 拟 合 作用 。 使 用 阶段 采用 已 经 训 
练 好 的 神经 网 络 ,对 一 些 未 和 结果 的 输入 进行 运算 ,得 到 输出 。 一 般 情况 下 ,训练 阶段 和 
使 用 阶段 是 两 个 先后 的 过 程 ,一 旦 训练 结束 就 可 以 长 期 使 用 。 训 练 样本 的 选取 和 数量 对 
网 络 的 训练 效果 有 很 大 的 影 啊 ,过 少 的 样本 将 难以 有 效 地 对 实际 问题 进行 拟 合 ,而 过 多 的 
样本 也 会 使 得 训练 时 间 过 长 ,而 且 会 导致 过 学 习 现 象 ( 就 是 最 后 一 小 部 分 的 样本 对 结果 的 
影 啊 比 较 大 )。 因 此 ,也 有 一 些 神经 网 络 除 了 在 训练 阶段 调整 网 络 参数 之 外 ,在 使 用 过 程 
中 也 能 够 日 适应 地 进行 相关 的 学 习 。 

BPNN 是 一 种 典型 的 神经 网 络 , 广 泛 应 用 于 各 种 分 类 系统 , 它 也 包括 了 训练 和 使 用 
两 个 阶段 。 由 于 训练 阶段 是 BPNN 能 够 投入 使 用 的 基础 和 前 提 , 而 使 用 阶段 本 号 是 一 个 
非常 简单 的 过 程 ,也 就 是 给 出 输入 ,BPNN 会 根据 已 经 训练 好 的 参数 进行 运算 ,得 到 输出 
箔 采 , 因 此 这 里 只 针对 BPNN 的 训练 阶段 说 明神 经 网 络 的 学 习 过 程 。 BPNN P IJ prj tot 78 
网 络 结构 十 指 在 处 理 样本 的 时 候 , 从 输入 层 轩 入 ,回击 把 结 采 输出 到 第 一 隐 售 层 , 然 后 第 
一 隐 含 层 将 接收 的 数据 处 理 后 作为 输出 ,该 输出 作为 第 二 隐 含 层 的 输入 ,以 此 类 推 , 直 到 
输出 层 的 输出 为 止 ; 反 回 传 播 是 指 通过 比较 输出 层 的 实际 输出 和 预期 的 纺 采 ,得 到 误 郑 ， 
然后 通过 相关 的 误差 方程 式 调 整 最 后 一 个 隐 含 层 到 输出 层 之 间 的 网 络 权 重 , 之 后 从 最 后 
一 个 隐 售 层 回 倒数 第 二 隐 合 层 进行 误差 反 包 ,调整 它们 之 间 的 网 络 权 重 , 以 此 类 推 , 直到 
输入 层 与 第 一 隐 售 层 之 间 的 网 络 权 重 调 整 为 目 。 
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242 算法 流程 
BPNN 的 训练 过 程 具体 如 下 所 示 ,相应 的 流程 图 和 伪 代 码 如 图 2. 11 Pros, 


// 功 能 : Bp 神经 网 络 训练 过 程 的 伪 代 码 


AEC :对 网 络 权 值 和 神经 元 侧 量 进 
行 随 机 赋值 : 选取 第 一 个 输入 样本 


procedure BENN 
Initialization, include the w;, and Ü, 
for each sample X 
while not stop 
/ / forwards propagation of the input 


XE (UK =] 


前 向 求 出 各 个 隐 含 屋 和 输出 层 的 输出 


for each unit j in the 
hidden and output layer 


求 输 出 层 与 预期 输出 的 偏差 E //calculate the output O; 


1 B 1 
l+ e Lt e (rygor) 


0; = 
REIRA SKBUHER SW Rae 


for each unit j in the output layer 
- 一 //calculate the error Ej; 
ID 
//back propagation of the error 
for each unit j in the hidden layer 
//calculate the error E; 
E = O (1-0) 2j ox Ex 
//adjust the network parameters 


E 


本 样本 训练 结束 ? 


a 
IARI ttl 


for each network weight w; 
z wij Swt (1)E0i; 
for each biased 0, 


所 有 样本 训练 完毕 ? 


E 
Ey d.=0,;+ (1]E;; 

, NT T : 

选择 下 一 个 输入 样本 end of while not stop 


end of for each sample X 


结束 end of procedure 


eA 


Al 2.11 BP 神经 网 络 算法 训练 阶段 的 流程 图 和 伪 代 码 


步骤 1: 初始 化 网 络 权重 

每 两 个 神经 元 之 间 的 网 络 连接 权重 or 被 初始 化 为 一 个 很 小 的 随机 数 ( 例 如 一 1.0 一 
1.0, 或 者 一 0.5 一 0.5, 可 以 根据 问题 本 身 而 定 ), 同 时 ,每 个 神经 元 有 一 个 偏 置 6, 也 被 初 
她 化 为 一 个 随机 数 。 

对 每 个 输入 样本 x, 按 步骤 2 进行 处 理 。 

步骤 2: 向 前 传播 输入 (前 馈 型 网 络 ) 

首先 ,根据 训练 样本 x 提供 网 络 的 输入 层 , 通 过 计算 得 到 每 个 神经 元 的 输出 。 每 个 
神经 元 的 计算 方法 相同 ,都 是 由 其 输入 的 线性 组 合 得 到 ,具体 的 公式 为 

1 1 

iper 14e (Povo) 


O; mm 
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其 中 ,wj 是 由 上 一 层 的 单元 i 到 本 单元 7 的 网 络 权 重 ;O; 是 上 一 层 的 单元 i 的 输出 ;0; 为 
本 单元 的 偏 置 ,用 来 充当 阀 值 , 可 以 改变 单元 的 活性 。 从 上 面 的 公式 可 以 看 到 ,神经 
元 7 的 输出 取决 于 其 总 输入 S, = > ) 0,0, - 0. 然后 通过 激活 函数 O 一 一 -一 得 到 最 
终 输 出 ,这 个 激活 图 数 称 为 logistic 图 数 或 者 sigmoid 函数 ,能 够 将 较 大 的 输入 值 映射 为 
区 间 0 一 1 之 间 的 一 个 值 , 由 于 该 图 数 是 非 线性 的 和 可 微 的 ,因此 也 使 得 BP 神经 网 络 算 
法 可 以 对 线性 不 可 分 的 分 类 问题 进行 建 模 ,大 大 拓展 了 其 应 用 范围 。 

步骤 3: 反 回 误差 传播 

由 步骤 2 一 路 向 前 ,最 终 在 输出 层 得 到 实际 输出 ,可 以 通过 与 预期 输出 相 比较 得 到 每 
个 输出 单元 7 ARA, WAR E; =O,(1—O;) (CT; —O,;) Bros FE T; 是 输出 单元 7 的 预 
期 输出 。 注 意 ,O;(1 一 DO) 是 logistic 函数 的 导数 ,公式 的 推导 过 程 比较 复杂 ,这 里 仅仅 给 
出 最 终 的 应 用 公式 ,有 兴趣 的 读者 可 以 查阅 相关 的 参考 文献 [9]。 得 到 的 误差 需要 从 后 向 
前 传播 ,前 面 一 层 单元 j 的 误差 可 以 通过 和 它 连 接 的 后 面 一 层 的 所 有 单元 k 的 误差 计算 
所 得 ,具体 的 公式 为 

E00 >), mnF 

依次 得 到 最 后 一 个 隐 含 层 到 第 一 个 隐 舍 层 每 个 神经 元 的 误差 。 

步骤 4: 网 络 权 重 与 神经 元 偏 置 调整 

在 处 理 过 程 中 ,我 们 可 以 一 边 后 向 传播 误差 ,一 边 调整 网 络 权 重 和 神经 元 的 浆 值 ,但 
是 ,为 了 方便 起 见 , 这 里 先 计算 得 到 所 有 神经 元 的 误差 ,然后 统一 调整 网 络 权 重 和 神经 元 
的 国 值 。 

调整 权重 的 方法 是 从 输入 层 与 第 一 隐 含 层 的 连接 权重 开始 ,依次 向 后 进行 ,每 个 连接 
权重 o; 根据 公式 wi =w; + Iv; =w; T IO; 进行 调整 。 

神经 元 偏 置 的 调整 方法 是 对 每 个 神经 元 7 进行 如 公式 0; = 0; + AO; =0; + DE; Bros 
的 更 新 。 
其 中 / 是 学 习 率 ,通常 取 0 一 1 之 间 的 常数 。 该 参数 也 会 影响 算法 的 性 能 ,经 验 表 明 ， 
太 小 的 学 习 率 会 导致 学 习 进 行 得 慢 , 而 太 大 的 学 习 率 可 能 会 使 算法 出 现在 不 适当 的 解 之 
间 振 动 的 情况 ,一 个 经 验 规则 是 将 学 习 率 设 为 迭代 次 数 1 的 倒数 ,也 就 是 1/1. 

步骤 s. 判断 结束 

对 于 每 个 样本 ,如 果 最 终 的 输出 误差 小 于 可 接受 的 范围 或 者 迭代 次 数 上 达到 了 一 十 
的 阅 值 , 则 选取 下 一 个 样本 , 转 到 步骤 2 重新 继续 执行 ;否则 ,人选 代 次 数 上 加 1, 然后 转向 步 
Wk 2 继续 使 用 当前 样本 进行 训练 。 


243 应 用 举例 


为 了 更 加 具体 地 说 明 BPNN 的 计算 过 程 ,我 们 将 通过 一 个 简单 的 分 类 训练 的 例子 ， 
说 明 BPNN 的 运行 机 理 。 

例 2.1 已 和 一 个 前 馈 型 神经 网 络 例子 如 图 2. 12 所 示 。 设 学 习 率 7 为 0.9, 当 前 的 训 
AREAS AY z 一 41,0,1) ,而 且 预 期 分 类 标号 为 1, 同 时 , 表 2.3 给 出 了 当 醒 该 网 络 的 各 个 连 
接 权 重 和 神经 元 偶 置 。 求 该 网 络 在 当 丽 训练 梓 本 下 的 训练 过 程 。 
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图 2.12 例 2.1 的 前 馈 型 神经 网 络 


表 2.3 例 2.1 的 网 络 连接 权重 和 神经 元 偏 置 


fe: 首先 根据 样本 的 输入 ,计算 每 个 单元 的 输出 。 然 后 计算 每 个 单元 的 误差 ,并 后 问 
传播 。 最 后 根据 误差 对 网 络 连 接 权 重 和 神经 元 偏 置 进行 更 新 调整 。 这 些 计 算 过 程 分 别 如 
表 2.4, 表 2.5 MIR 2.6 Ara, 


R24 每 个 神经 元 的 总 输入 和 输出 计算 表 


神经 元 j 总 输入 $) = m +6, 输出 o= 
4 0. 2 十 0 一 0.5—0.4=— 0.7 QO, 33Z 
一 0. 3 十 0 十 0. 24-0. 2-0. 1 0. 525 
(—0.32X 0. 332)» — (0. 22 X (0. 525) +0. 1 — — 0. 105 0. 474 
R25 每 个 神经 元 的 误差 计算 表 
神经 元 j ix E, 

6 (0, 474) X (1—0, 474) X (1— 0, 474) —0, 1311 
J (0.525) X (1—0. 525) Xx CO, 1311) xX ( —0,25 — —0, 0065 
4 (0, 332) X (1—0. 332) X (0. 1311) x (— 0. 3) = — 0. 0087 


R26 网 络 连接 权重 和 神经 元 偏 置 更 新 计算 表 


神经 元 j 调整 后 的 更 新 值 
a 一 0. 3 十 (0. 9) X (0. 1311) X(0.332) 一 一 0. 261 
一 0. 2 十 (0. 9) X (0. 1311) X (0. 525) 一 一 0. 138 
wa 0. 2 十 (0. 9) X (—0. 0087) X (1)=0. 192 
ui 一 0. 3+ (0. 9) X (—0. 0065) X (1) = —0. 306 
àid 0. 4+ (0. 9) X (—0. 0087) X (0) —0. 4 
ins 0. 12- C0, 9) X (—0. 0065) X €0) —0. 1 
- 一 0. 5 十 (0. 9) X (—0. 0087) X (1) — —0. 508 
-— 0. 2 十 (0.9) X (—0. 0065) X (1) —0. 194 
9; 0. 12- C0. 9) X (0. 1311) —0. 218 
9; 0. 22- C0. 9) X (—0. 0065) =0. 194 


0, 一 0. 4+ C0. 9) X €— 0. 0087) = — 0. 408 
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2.5 进化 神经 网 络 


尽管 人 工 神 经 网 络 目 20 世纪 80 年 代 复兴 后 的 20 多 年 里 取得 了 令 人 瞩目 的 广 记 发 
展 与 应 用 ,但 是 由 于 网 络 本 刁 的 不 确定 性 使 得 在 设计 和 使 用 的 过 程 中 需要 花费 大 量 的 时 
回去 寻找 合适 的 网 络 ,而 作为 人 工 神经 网 络 本 喘 应 该 具有 的 优势 : 强 学 习性 、 强 适应 性 、 
大 规模 并 行 处 理 能 力 等 都 不 能 很 好 地 体现 出 来 。 对 于 某 一 具体 问题 ,人 工 神 经 网 络 的 设 
计 是 极其 复杂 的 工作 ,至 今 仍 没 有 系统 的 规律 可 以 遵循 。 目 前 ,一 般 赁 设计 者 主观 经 验 与 
反复 实验 挑选 ANN 设计 所 需 的 工具 。 这 样 不 仅 使 得 设计 工作 的 效率 很 低 , 而 且 还 不 
能 保证 设计 出 的 网 络 结构 和 权重 等 参数 是 最 优 的 ,从 而 造成 贤 源 的 大 量 浪 细 和 网 络 的 性 
能 低下 。 这 种 状况 极 大 地 限制 了 神经 网 络 的 应 用 与 发 展 。 为 了 解决 这 个 问题 ,研究 痢 提 
出 了 使 用 进化 拭 法 去 优化 神经 网 络 , 通 过 进化 算法 和 人 工 神 经 网 络 的 结合 使 得 神经 网 络 
能 够 在 进化 的 过 程 中 自 适 应 地 调整 其 连接 权重 :2 pop 2g Z5 R00 、 学习 规 则 ”等 这 些 
在 使 用 神经 网 络 的 时 候 难以 确定 的 参数 ,从 而 形成 了 进化 神经 网 络 (Evolutionary Neural 
Networks. ENN/EANN)D, 

进化 算法 (Evolutionary Algorithms, EAs) HUS] E — fh T AE Py dt (e fuii £5 FE . 
典型 的 有 遗传 算法 (Genetic Algorithms. GA)” | dt 4E S E (Evolution Strategy, ES)" , 
遗传 编程 (Genetic Programming, GP)9"U 、 进 化 规划 (Evolutionary Programming, 
EP)? 、 疏 群 优化 算法 (Ant Colony Optimization, ACO) 和 粒子 群 优化 算法 (Particle 
Swarm Optimization,PSO) 等 。 这 些 算法 将 在 后 面 的 章节 分 别 进行 介绍 。 由 于 进化 算法 
不 要 求 待 解 问题 连续 .可 微 , 仅 仅 要 求 问 题 可 计算 ,而且 是 一 种 全 局 的 搜索 算法 ,因此 非常 
适合 用 于 优化 神经 网 络 。 进 化 算法 和 神经 网 络 的 结合 给 神经 网 络 指明 了 新 的 发 展 方 回 ， 
对 解决 神经 网 络 结构 复杂 .参数 难 调 等 问题 起 到 了 重大 的 作用 。 采 用 进化 算法 和 神经 网 
络 结合 的 算法 已 经 取得 了 很 好 的 应 用 效果 -5 。 


2.6 ”神经 网 络 的 应 用 


随 春 神经 网 络 的 不 断 改进 和 完善 ,ANN 被 众多 的 人 研究 痢 应 用 到 了 越 来 越 多 的 领域 
HL 

C1) 民用 应 用 领域 有 : i8 TA ll VES BU] 53 PEE TL E EL de A E 
测 、 实 时 语言 翻译 .企业 管理 ,市场 分 机 .决策 优化 .物质 调运 .上 月 适应 控制 .专家 系统 、 和 鲁能 
Bz L1 fi Zi ^E HIS LS BESECBUIA AURESE BED E SE 

(2) 车 用 应 用 领域 有 : 语音 、 图 像 信 息 的 录取 与 处 理 , 备 达 \ 声 纳 的 多 目标 识别 与 跟 
蹊 , 战 饭 管理 和 决策 文 持 系 统 , 车 用 机 篆 人 控制 ,各 种 情况 .信息 的 快速 录取 、 分 类 与 得 询 ， 
对 弹 的 鲁能 引 守 ,保密 通信 ,航天 人 的 姿态 控制 等 。 

在 本 方 , 我 们 将 从 识别 与 聚 类 、 神 经 优化 、 建 模 与 预测 、 控 制 与 处 理 等 大 的 方面 对 人 工 
神经 网 络 的 应 用 进行 介绍 。 由 于 ANN 目前 已 经 在 许多 全 究 和 实 旺 领域 得 到 了 广泛 的 发 
展 和 应 用 ,因此 本 下 所 介绍 的 也 仅仅 是 千 百 种 应 用 中 的 一 部 分 , 硕 望 谈 者 能 括 一 班 而 匈 全 
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豹 ,如果 需 要 进一步 认识 和 了 解 ,可 以 参考 相关 的 书籍 所 和 经 典 的 综述 文章 "5 。 

1. 识别 与 聚 类 应 用 

人 工 神 经 网 络 的 典型 应 用 就 是 模式 识别 .分 类 与 聚 类 。 一 般 来 说 ,模式 识别 和 分 类 
指 通 过 使 用 一 系列 的 训练 数据 对 神经 网 络 进 行 训练 ,在 有 教师 指导 学 习 方 法 下 ,让 神经 网 
络 在 训练 数据 的 训练 下 调整 网 络 的 结构 和 权重 ,以 达到 正确 识别 的 目的 。 例 如 2.4 WAY 
BP 神经 网 络 就 是 一 个 典型 的 模式 识别 与 分 类 的 例子 。 和 传统 的 判别 式 统 计 分 类 方法 相 
比 , 人 工 神经 网 络 方法 不 需要 被 识别 问题 具有 线性 可 分 的 前 提 , 因 此 能 够 应 用 到 非 线性 的 
识别 与 分 类 中 ,具有 非常 广泛 的 应 用 价 仁 。 如 图 2.13Ca) Brzn ,神经 网 络 通过 训练 和 学 
习 , 获 取 了 非 线性 的 识别 和 分 类 能 力 , 从 而 能 够 将 输入 数据 通过 训练 好 的 非 线 性 结构 映射 
到 输出 空间 。 目 前 ,神经 网 络 已 经 在 手写 字符 ,汽车 牌照 ,指纹 、 声 首 和 人 脸 识 别 等 模式 识 
别 领 域 取得 了 成 功 的 应 用 ,而 且 还 可 用 于 目标 的 目 动 识别 ,目标 跟 踊 、 机 右 人 传 感 强 图 像 
识别 及 地 震 信 号 的 鉴别 等 。 


ORE 
图 2. 13 ”模式 识别 分 类 与 聚 类 


聚 关 和 分 类 的 区 别 在 于 聚 类 需要 划分 的 类 是 未 知 的 , 它 要 求 将 数据 对 象 分 组 为 多 个 
FE He (cluster) ,在 同一 复 中 的 对 象 之 间 具 有 较 高 的 相似 度 ,而 不 同 复 中 的 对 象 差 别 较 
大 ,如 图 2.13(b) 所 示 。 关 于 人 工 神经 网 络 在 模式 识别 、 分 类 、 聚 类 领域 的 相关 应 用 的 更 
多 内 容 , 读 者 可 以 参考 相关 书籍 ”1 。 

2. 计算 与 优化 应 用 

神经 计算 是 人 工 神经 网 络 的 一 个 重要 应 用 手段 ,也 为 各 种 优化 问题 提供 了 解决 的 方 
条 。 优 化 问题 就 是 需要 在 问题 的 解 空 间 里 面 寻 找 一 个 最 优 的 解 , 在 满足 一 定 约 束 条 件 下 
使 得 目标 函数 最 大 化 或 者 最 小 化 。 由 于 神经 网 络 具 有 并 行 搜索 处 理 信息 、 联 想 记 忆 和 特 
点 ,在 搜索 系统 的 全 局 最 优 或 局 部 最 优 解 方面 ,具有 很 大 的 优势 ,因此 在 优化 问题 上 得 到 
本 广泛 的 人 研究 和 应 用 ， 

在 使 用 人 工 神经 网 络 进行 优化 计算 的 时 候 , 一 般 都 是 选择 Hopfield 神经 网 络 。 例 
如 ,Hopfield 和 Tank’! fr 1985 年 就 提出 了 一 种 使 用 神经 网 络 求解 离散 组 合 优化 问题 
的 方法 。 他 们 提出 的 神经 网 络 方法 ,对 于 不 超过 30 个 城市 的 TSP 问题 一 般 部 能 够 找到 
最 优 解 或 者 近似 最 优 解 ,但 是 当 城 市 规模 变 大 的 时 候 , 效 末 就 不 大 理想 了 。 

近年 来 , 随 着 进化 计算 的 发 展 , 人 们 更 加 倾 问 于 使 用 遗传 算法 、 蚁 群 优化 算法 ,粒子 群 
优化 算法 等 方法 对 各 种 连续 或 者 离散 领域 的 最 优化 问题 进行 求解 。 而 神经 网 络 方法 则 更 


多 地 使 用 在 模式 识别 、. 聚 类 分 类 、 建 模 预 测 等 方面 。 

3. 建 模 与 预测 应 用 

人 工 神经 网 络 的 非 线性 处 理 能 力 使 得 它 在 各 种 系统 建 模 上 具有 很 大 的 优势 。 人 工 神 
经 网 络 应 用 在 非 线 性 系统 建 模 上 的 时 候 , 实 质 上 就 是 通过 训练 神经 网 络 ,让 其 在 训练 数据 
中 获取 知识 ,并 且 完 成 从 输入 到 输出 的 非 线 性 映射 过 程 。 处 理 该 类 问题 一 般 痢 是 采用 有 
教师 学 习 方 法 ,从 提供 的 训练 数据 中 挖掘 输入 和 输出 之 间 的 内 在 联系 ,寻找 系统 的 内 在 规 
律 , 利 用 优化 计算 方法 ,建立 系统 的 非 线性 模型 。 图 2. 14(a) 所 示 就 是 人 工 神经 网 络 对 郴 
数 进 行 拟 合 建 模 的 例子 。 通 过 训练 样本 的 拟 合 ,神经 网 络 可 以 得 到 将 输入 映射 到 输出 的 
模型 。 一 般 而 言 , 多 层 网 络 编 构 是 比较 第 用 于 实际 应 用 中 的 ,因为 它 能 够 对 任意 函数 进行 
一 定 精 度 的 通 近 。 神 经 网 络 用 于 函数 通 近 建 模 的 现实 应 用 主要 包括 两 类 : 一 类 是 没有 现 
实 模 型 的 问题 ,例如 其 数据 都 是 通过 实验 或 者 观察 的 方法 得 到 的 ; 男 一 类 是 理论 模型 非常 
复杂 ,以 全 于 很 难 使 用 该 模型 对 已 知 数据 进行 计算 和 分 析 的 问题 ,例如 微生物 学 中 的 细 南 
AE K FOU) SS fa] OID 。 


i (1) (4) ET IR] £ t(n) mnl) 
(a) ETE ( RUBNE ) (b) 预测 


图 2.14 神经 网 络 建 模 与 预测 


其 实 ,在 很 多 情况 下 ,神经 网 络 建 模 是 为 了 预测 天 53 。 所 谓 神 经 网 络 预测 就 是 根据 
一 定数 量 的 历史 样本 数据 (一 般 为 表征 某 一 种 现象 时 间 序 列 的 数据 ,例如 交通 流量 、 外 汇 
走势 等 ) 对 神经 网 络 进行 训练 ,然后 用 来 对 当前 的 ,或 者 未 来 的 时 刻 情 昌 进行 预测 ,如 图 
2. 14(b) 所 示 。 例 如 已 经 得 到 了 时 间 厅 列 获 据 样本 (COD » (2 :2 以 及 其 对 应 的 办 
出 y(1)，y(2),… ,y(n) ,如 果 想 预测 1(xn 十 1) 时 刻 的 输出 (2 十 1) ,可 以 通过 以 下 的 方式 
训练 和 使 用 网 络 。 在 训练 的 时 候 , 可 以 将 一 定 每 长 度 为 L 的 历史 数据 作为 一 个 输入 , 例 
"ll tG—L-T D. tG—L-T 2). (00, HB i 宇 L, 作 为 网 络 的 输入 ,y( 让 是 输出 ,作为 第 一 
个 训练 样本 。 然 后 输入 2 一 工 十 2) ,1Gi 一 工 十 3),…,t(i 十 1) 和 输出 y(i 十 1) 作 为 第 二 个 
训练 样本 ,等 等 ,对 神经 网 络 进行 训练 ,得 到 民 好 的 权重 。 在 使 用 的 过 程 中 ,为 了 得 到 
ti(n 十 1) 时 刻 的 输出 y Ga t+ DD RTR mR (O1 — LL +2), tin L 732 52 tn + FER 
ij A ,通过 训练 好 的 神经 网 络 即 可 得 到 输出 y(2z 十 1)。 在 这 里 ,长 度 工 是 一 个 参数 ,对 网 
络 的 预测 性 能 有 一 定 的 影响 ,需要 根据 具体 的 问题 设 定 ,或 者 通过 不 断 的 尝试 而 找到 最 优 
的 设置 。 

4. 控制 与 处 理应 用 

神经 网 络 已 经 在 自动 控制 和 信息 处 理 等 各 个 领域 取得 了 相当 成 功 的 应 用 "1 与 。 在 
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目 动 控制 领域 ,其 主要 的 应 用 包括 系统 建 模 和 辨识 .参数 整定 、 极 点 配置 .内 模 控 制 、 优 化 
设计 、 预 测控 制 、 最 优 控制 ,滤波 与 了 预测 容 杀 控制 等 。 为 外 ,神经 网 络 还 在 机 各 人 控制 方面 
发 挥 看 重要 的 作用 ,能 够 实现 对 机 各 人 轨 址 控制 ,以 及 操作 机 各 人 眼 手 系统 ,第 用 于 机 械 
手 的 故障 诊断 及 排除 、 智 能 自 适应 移动 机 人 各 人 的 导航 、 视 觉 系统 等 。 


在 各 种 信息 \ 信 号 处 理 领 域 ,神经 网 络 也 有 重要 的 突破 。 例 如 在 图 像 处 理 方 面 ,神经 


网 络 能 够 很 好 地 对 图 像 进行 边缘 监测 、 图 像 分 割 、 图 像 压缩 和 图 像 恢 复 等 操作 。 此 外 , 神 
经 网 络 币 三 这 使 用 于 信号 处 理 方 面 , 例 如 目标 检测 .多 目标 跟 踩 、 杂 波 去 品 、 辐 形 波 饮 复 、 
雷达 回 波多 目标 分 类 运动 目标 速度 信 计 、 多 探测 信号 融合 等 。 
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请 指出 人 工 神经 元 是 怎样 去 模拟 生物 神经 元 的 结构 和 功能 的 。 
简 述 人 工 神经 网 络 的 发 展 历程 。 

人 工 神 经 网 络 有 哪些 典型 的 结构 和 重要 的 学 习 算法 ? 

. 参考 2.4 节 的 内 容 ,; 上 机 编程 实现 BPNN SEE 

通过 查阅 相关 参考 文献 ,了 解 神 经 网 络 在 各 个 领域 的 应 用 。 
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模糊 逻辑 


目 然 语言 中 的 许多 概念 部 具有 模糊 
性 ， 在 用 传统 数学 方法 精确 处 理 它 们 的 
时 候 产 生 了 不 少 麻 烦 。 例如,“ 裕 堆 ”这 
个 概念 ， 究 驶 多 少 粒 沙子 才能 叫做 “ 沙 
HE E? 如 有 霖 这 里 有 一 个 确切 的 临界 值 ， 
HA. Hx RUE? DN RANE? 


1.0 
0.8 模糊 逻辑 (Fuzzy Logic, FL) 
在 一 定 程度 上 解决 了 这 个 问题 。 
ix °° 在 模糊 逻辑 中 ， 一 个 命题 不 
E oa 再 非 真 即 假 ， 它 可 以 被 认为 是 
| "BAM EU. ALI AEH Ay EIR 
0.2 Fete [0,1] 之 间 取 值 ， 用 以 表示 程 
度 。 模 糊 逻 辑 在 机 器 和 自然 语言 
i = ; : T 之 间架 设 了 一 座 桥梁 ， 
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模糊 逻辑 作为 人 工 智 能 领域 的 一 种 重要 工具 ,为 表示 和 处 理 自 然 语 言 和 人 类 思维 的 
模糊 性 提供 了 一 种 强 有 力 的 手段 。 

本 章 对 模糊 逻辑 进行 介绍 ,包括 模糊 逻辑 的 基本 思想 、 人 研究 和 应 用 进展 ,以 及 模糊 集 
t ,模糊 推理 ,模糊 计算 和 模糊 神经 网 络 。 通 过 对 相关 理论 及 其 应 用 的 介绍 ,本 章 为 读者 
呈现 了 模糊 理论 的 主要 图 景 和 广泛 的 应 用 前 景 ,并 提供 了 相关 的 参考 资料 ,同时 通过 一 些 
具体 的 实例 加 深 读 者 对 模糊 逻辑 和 模糊 计算 的 认识 和 了 解 。 本 章 的 主要 内 容 如 下 : 

。 模糊 逻辑 简介 ; 

。 模糊 集合 与 模糊 逻辑 ; 

。 模糊 逻辑 推理 ，; 

。 模糊 计算 的 流程 ; 


3.1 模糊 逻辑 简介 
3.1.1 BPR HAA BB 


模糊 逻辑 (Fuzzy Logic. FL) Æ — P fei H SE Jm E E dp ZR ECÍBL II 32 38 . Zi B0] FHL 
的 重要 内 容 , 在 人 工 智 能 领域 有 重要 意义 。 与 经 典 的 二 值 逻 辑 不 同 , 它 并 不 使 用 截然 
不 同 的 二 值 来 表达 所 有 命题 ,而 是 使 用 隶属 度 来 表达 ,因而 更 适合 描述 实际 生活 中 陈 
述 的 不 精确 性 。 模 糊 逻 辑 目前 已 经 在 工业 控制 等 领域 获得 了 成 功 的 应 用 ,并 带 来 了 广 
泛 的 实际 效益 。 

模糊 理论 的 创始 人 ,加 州 大 学 伯克利 分 校 的 L，Zadeh 教授 曾 提出 过 一 个 不 相 容 原 
PPO :“ 当 系统 的 复杂 性 增长 时 ,人 们 对 系统 特性 作出 精确 而 有 效 的 描述 的 能 力 就 相应 降 
低 ,直到 达到 一 个 国 值 。 一 旦 超过 这 个 值 ,精确 性 和 有 效 性 将 变 成 两 个 相互 排斥 的 特性 。” 
也 就 是 说 , 当 系 统 的 复杂 性 达到 一 定 程 度 时 ,就 不 能 同时 对 系统 进行 轻 精 确 又 有 效 的 描 
述 。 描 述 的 精确 性 会 损害 有 效 性 ,而 有 效 性 要 牺牲 精确 性 。 系 统 越 复 杂 ,这 一 现象 越 
明显 。 

真实 世界 无 疑 是 复杂 的 ,传统 数学 方法 与 人 的 思维 采用 不 同 的 方式 描述 复杂 的 世 
界 : 传统 的 数学 方法 常常 试图 进行 精确 定义 ,而 人 关于 真实 世界 中 事物 的 概念 往往 是 
模糊 的 ,没有 精确 的 界限 和 定义 。 在 处 理 一 些 问 题 时 ,精确 性 和 和 有效 性 形成 了 矛盾 , 诉 
庄 精 确 性 的 传统 数学 方法 变 得 无 效 , 而 具有 模糊 性 的 人 类 思维 却 能 轻易 解决 。 例 如 人 
脸 识 别 问题 ,这 一 问题 对 于 擅长 精确 计算 的 计算 机 来 说 十 分 环 手 ,然而 对 人 类 的 幼儿 
来 说 却 并 不 困难 。 

模糊 理论 为 计算 机 提供 了 一 种 处 理 现实 世界 中 自然 语言 与 人 类 思维 模糊 性 的 方法 。 
其 理论 的 基本 出 发 点 之 一 就 是 取消 二 值 之 间 非 此 即 彼 的 对 立 , 用 隶属 度 表示 二 值 间 的 过 
渡 状 态 。 这 为 进行 不 精确 而 有 效 的 描述 提供 了 便利 ,也 为 将 符合 人 类 思维 习惯 的 模糊 推 
理 ,模糊 决策 移植 到 计算 机 中 提供 了 理论 工具 。 经 典 二 值 逻 辑 中 ,通常 以 0 表示“ 假 ”* 以 1 
表示 “ 真 ”, 一 个 命题 非 真 即 假 。 但 在 实际 应 用 中 ,这 种 非 此 即 彼 的 逻辑 会 遇 到 不 少 问 题 。 


第 3 章 ”模糊 逻辑 


例如 , “室温 在 27C 是 高 温度 ”, 这 个 命题 真 值 如 何 呢 ?如 果 考 虑 到 命题 的 实际 意义 ,无论 
认为 是 还 是 否 , 管 案 都 过 于 极端 。 在 模糊 逻辑 中 ,一 个 命题 不 再 非 真 即 假 , 它 可 以 被 认为 
是 “部 分 的 真 ”"。 模 糊 逻 辑 中 的 隶属 度 在 [0,1] 之 间 取 值 ,用 以 表示 程度 。 上 面 关 于 温度 的 
问题 ,可 以 认为 该 温度 对 “高 温度 ”的 隶属 度 是 0. 6 , 即 “ 部 分 的 高 温 ”。 由 于 模糊 逻辑 更 接 
近 自 然 语言 以 及 人 类 的 思维 方式 , 故 可 以 为 人 工 智 能 领域 提供 一 种 重要 的 研究 方法 。 

需要 注意 的 是 ,尽管 以 “模糊 ”为 名 ,但 模糊 逻辑 本 身 并 非 提 摸 不 定 的 。 模 糊 逻 辑 扮 演 
本 自然 语言 与 机 咽 之 间 的 接口 ,其 自身 并 没有 不 确定 性 和 不 可 预测 性 ,对 于 特定 的 模糊 系 
统 , 给 定 系 统 的 输入 ,其 输出 是 完全 可 以 预测 的 。 
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20 世纪 20 年 代 , 波 兰 数学 家 Jan Lukasiewicz 提出 了 多 值 逻辑 (many-valued logic), 
1937 年 量子 哲学 家 Max Black 提出 了 不 明确 集合 (vague set) ,这 些 均 为 模糊 逻辑 的 发 展 
更 定 了 思想 来 锰 和 理论 基础 。 美 国 加 州 大 学 伯克利 分 校 的 L. Zadeh 教授 于 1965 年 提出 
了 模糊 集合 (fuzzy sets)7,1973 年 又 提出 了 模糊 逻辑 2” 。L. Zadeh 教授 提出 了 一 个 著名 
的 不 相 容 蛛 理 , 即 当 系统 达到 一 定 复杂 度 的 时 候 , 对 系统 搞 述 的 精确 性 和 有 效 性 成 为 放 
盾 。 这 一 理论 为 模糊 逻辑 在 应 用 中 的 有 效 性 提供 了 支持 。 

模糊 理论 被 提出 后 ,在 争议 中 继续 发 展 , 并 在 实践 中 得 到 了 应 用 。1974 年 ,第 一 个 模 
精 控 制 蒸汽 引擎 系统 和 第 一 个 模糊 交通 指挥 系统 证 生 了 。 这 两 个 系统 的 设计 痢 是 英国 伦 
DUS a ben Ebrahim Mamdani 教授 。 他 认为 采用 模糊 理论 的 优点 是 可 以 利用 经 
验 法 则 ,而 不 需要 程序 模型 。1980 年 ,丹麦 的 史密斯 公司 开始 使 用 模糊 控制 操作 水 泥 旋 
We Fe ,以 控制 锻 烧 温度 、 出 口 温度 、 旋 转 情 况 ,冷却 速率 等 。 

1984 年 ,国际 模糊 系统 学 会 (Jnternational Fuzzy Systems Association. IFSA Jv. I 
日 本 ,北美 .欧洲 .中国 大 陆 四 个 分 会 。1987 年 ,第 二 册 模 糊 系统 学 大 会 在 日 本 东京 召开 ， 
并 展示 了 模糊 目 动 控制 应 用 于 仙台 市 地 铁 的 日 劫 驾驶 的 成 末 。 此 后 ,模糊 理论 获得 了 较 
广 沁 的 关注 和 进一步 发 展 。 

进入 20 世纪 90 年 代 , 模 糊 系 统 在 日 本 电 策 行业 得 到 了 广泛 应 用 ,并 吸引 了 大 量 研 究 
者 的 注意 。 然 而 , 尽 官 模糊 系统 有 众多 优点 ,对 模糊 系统 的 严格 数学 分 析 方 法 并 没有 位 构 
建 ,模糊 系统 的 设计 方法 没有 成 熟化 ,系统 化 ,其 适用 的 问题 也 没有 得 到 严格 界定 。 面 对 
这 些 困 难 , 模 糊 理 论 的 创始 人 L. Zadeh 教授 于 1993 年 提出 了 软 计 算 (Soft 
Computing) P? ,试图 以 人 类 的 思维 方式 和 自然 语言 表达 变量 之 间 的 关系 ,并 以 条 件 命 题 
记录 法 则 。 图 3. 1 给 出 了 模糊 理论 的 发 展 历程 。 

A 1965 年 模糊 集合 论 被 创建 以 来 ,在 几 十 年 中 ,模糊 系统 理论 和 应 用 均 得 到 了 广泛 
的 关注 并 取得 了 飞速 的 发 展 。 模 糊 逻 辑 与 神经 网 络 的 结合 ,模糊 人 逻辑 与 进化 计算 的 结合 
等 也 为 解决 一 些 复杂 非 线 性 问题 提供 了 新 的 选择 。 目 前 ,模糊 逻辑 已 经 在 系统 工程 日 动 
控制 .信号 处 理 、 辅 助 决策 、 人 工 乔 能、 心理 学 、 生 态 学 ,语言 学 等 众多 人 研究 领域 取得 了 广泛 
的 成 功 , 并 成 为 新 世纪 人 工 知 能 领域 具有 己 大 发 展 潜 力 的 方 回 之 一 。 很 多 重要 的 国际 学 
术 期 刊 和 国际 会 议 都 对 模糊 好 辑 方面 的 研究 成 果 非 常 重 视 , 收 录 了 很 多 高 质量 的 学 术 文 
草 。 表 3.1 列举 了 模糊 系统 相关 的 重要 学 术 期 刊 和 国际 会 议 。 
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图 3.1 模糊 理论 的 发 展 历程 
3 3.1 模糊 逻辑 相关 的 学 术 期 刊 和 国际 会 议 
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3.2 ”模糊 集合 与 模糊 逻辑 


本 太古 关于 模糊 集合 模糊 好 和 惟 、 模 糊 关 系 的 基础 知识 ,为 介绍 模糊 推理 、 模 糊 计 算 做 
理论 准备 ,包括 下 列 要 点 : 
© 模糊 集合 的 概念 ; 
模糊 集合 的 隶属 度 图 效 ; 
BUS E LS RICE AEG 
BUM i ARRIER EE ; 
模糊 关系 及 其 合成 运算 。 
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fig Hd Ze HE AGE MO PH PES A, 论 域 中 的 任何 一 个 元 系 x 或 者 属于 A， 
或 者 不 属于 A ,没有 中 间 情 况 存 在 。 论 域内 的 任意 元 素 与 集合 A 的 关系 可 以 用 一 个 特征 
函数 表达 ,而 同时 ,集合 A 也 可 以 由 其 特征 函数 定义 : 
pai m" (3.1) 
0, r&A 
这 种 情况 下 ,一 个 元 素 只 有 完全 属于 A 和 完全 不 属于 A 两 种 情况 ,任何 中 间 情况 都 


. 


古 不 存在 的 。 这 种 非 此 即 彼 在 数 和 池上 非常 卓然 ,然而 ,由 日 剃 生 活 中 的 概念 规定 的 集合 却 
并 非 总 古 这 样 消 晰 ,用 “ 非 此 即 彼 ”的 方式 来 人 处理 它们 往往 会 招来 且 烦 ，。 

有 一 个 著名 的 沙 堆 悖 论 体现 了 这 种 困难 ,如 图 3.2 所 示 。 且 看 一 个 问题 :“ 从 一 个 沙 
堆 里 拿 走 一 粒 沙 于 ,这 还 是 一 个 小 堆 吗 ?” 如 采 管 条 只 能 是 “是” 或 “ 否 ”, 看 上 去 显然 应 该 选 
择 “是 ”。 因 为 在 一 般 人 的 概念 里 ， 沙 扒 " 指 的 就 是 由 大 量 的 沙子 聚集 在 一 起 构成 的 事物 ， 
从 中 拿 走 区 区 一 粒 , 日 然 还 有 古 一 个 沙 堆 。 然 而 ,如 才 回 浴 “ 古 ”, 这 样 顺 推 下 去 就 会 控 入 陷 
BE: 从 上 次 剩 下 的 沙 堆 里 再 拿 走 一 粒 沙 子 , 剩 下 的 还 是 一 个 沙 推 ,那么 ,如 此 反复 ,直到 只 
剩 下 两 三 粒 沙 子 甚至 只 有 一 粒 沙 子 时 ,这 也 还 是 一 个 沙 堆 了 。 这 显然 是 与 弟 识 相 屠 的 。 
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图 3.2 WEER 


这 里 的 问题 就 在 于 “ 沙 堆 ” 这 个 概念 是 模糊 的 ,没有 一 个 清晰 的 界限 将 “ 沙 堆 ” 与 “ 非 沙 
堆 ” 分 开 。 我 们 没有 办 法 明确 指出 ,在 这 个 不 断 拿 走 沙子 的 过 程 中 ,什么 时 候 “ 沙 堆 ” 不 再 
是 “ 沙 堆 ”"。 与 “ 沙 堆 " 相 似 的 模糊 概念 还 有 “年 轻 人 ”、“ 小 个 子 ”“ 大 房子 ”等 。 在 用 传统 数 
学 方法 处 理 这 些 概念 时 ,它们 的 模糊 性 让 人 头疼 ,然而 有 些 消除 这 种 模糊 性 的 尝试 却 是 与 
常识 相 违 的。 以 “年 轻 人 ”构成 的 集合 为 例 , 如 果 我 们 规定 30 岁 以 下 的 人 才 是 年 轻 人 ,这 
个 概念 的 模糊 性 就 被 消除 了 ,但 是 , 比 30 岁 大 1 天 的 人 就 完全 被 排除 在 “年 轻 人 ”之 外 ,这 
显然 是 不 合理 的 ， 

模糊 集合 理论 在 一 定 程度 上 解决 了 这 个 问题 。 在 回答 沙 堆 悖 论 中 “是 否 为 沙 堆 ” 的 问 
题 时 ,我 们 可 以 不 再 仅仅 使 用 “是 "和 “ 否 ” 两 种 答案 ,而 是 可 以 回答 “部 分 的 是 ”, 即 给 出 对 
“ 沙 堆 ” 的 隶属 度 。 使 用 这 种 方法 来 描述 “ 沙 堆 ”"“ 年 轻 人 ”“ 小 个 子 ”“ 大 房子 ”等 集合 时 ， 
这 些 集合 就 不 再 有 明确 的 边界 ,我 们 将 之 称 为 模糊 集合 。 为 区 别 于 经 典 集合 ,可 以 将 一 个 
模糊 集合 记 作 A. 

1965 年 ,Zadeh 教授 中 最 早 提出 了 模糊 集合 的 概念 并 给 出 其 定义 。 模 糊 集合 的 定 
XY: 

定义 3.1 设 存在 一 个 普通 集合 U,U 到 [0,1] 区 间 的 任 一 映射 ja 都 可 以 确定 U 的 
一 个 模糊 子 集 , 称 为 U 上 的 模糊 集合 A。 其 中 映射 va 叫做 模糊 集 A 的 隶属 度 函 数 , 对 于 
U 上 一 个 元 素 ,ya Ct) 叫做 对 于 模糊 集 A 的 隶属 度 ,也 可 写作 AG)，。 

这 里 ,U 被 称 为 模糊 集合 A 的 论 域 ,wa 是 该 模糊 集 的 隶属 度 函 数 ,U 上 的 任意 元 素 
u 不 再 只 有 属于 A 和 不 属于 A 两 种 情况 ,每 个 元 素 都 有 对 于 A 的 隶属 度 pa GO. RE 
度 pa (1) 表 示 程 度 , 它 的 值 越 大 ,表明 属于 A 的 程度 越 高 ,反之 则 表明 u 属于 A 的 程度 
i f 

经 典 集合 可 以 看 作 一 种 退化 的 模糊 集合 , 即 论 域 中 不 属于 该 经 典 集合 的 元 素 隶 属 度 
为 0, 其 余 元 素 隶 属 度 为 1。 

模糊 集合 的 表示 方法 有 很 多 种 ,其 中 常用 的 有 如 下 两 种 ， 
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1. Zadeh 表示 法 
该 表示 法 的 根据 是 Zadeh 教授 对 模糊 集合 的 定义 。 当 论 域 U 为 离散 集合 时 ,一 个 模 
糊 集 合 可 以 表示 为 : 


a Cu) 
A= - (3.22 
Siem U 为 连续 集合 时 ,一 个 模糊 集合 A 可 以 表示 为 : 
ua Cu) 
A=| ^ (3, 3) 
ad u li 


需要 注意 的 是 ,这 里 仅仅 是 借用 了 求 和 与 积分 的 符号 ,并 不 表示 求 和 或 积分 。 

2. 序 对 表示 法 

对 于 一 个 模糊 集合 来 说 ,如 果 给 出 了 论 域 上 所 有 元 素 对 其 隶属 度 ,就 等 于 表示 出 了 该 
集合 。 在 这 种 思想 的 指导 下 ,可 以 用 序 对 表示 法 来 表示 模糊 集合 A。 

A = (Gp G0) | u € U} (3.4) 

HH JEXT Cus pa D) AERP u Wu 对 模糊 集合 A 的 隶属 度 构成 。 

下 面 通过 具体 例子 说 明 这 种 模糊 集合 。 

例 3.1 在 考核 中 ,学 生 的 绩 点 为 L0,5j 区 间 上 的 实数 。 按 照 芝 识 , 绩 点 在 3 以 下 显 
然 不 属于 “优秀 ”, 绩 点 在 4.5 以 上 则 显然 属 
于 “优秀 ”, 这 是 没有 问题 的 。 然 而 , 绩 点 为 7^ 


4.4 时 该 怎么 算 呢 ?这 个 成 绩 很 接近 4.5， 全 08 
如 果 和 绩 点 为 3 一 样 ,都 不 属于 “优秀 ”, 未 06 


免 对 绩 点 为 4. 4 的 同学 太 不 公平 。 有 了 模 
糊 集 合 这 个 工具 ,在 3 一 4.5 之 间 就 可 以 认 
为 是 一 个 “灰色 地 带 ”, 其 间 的 成 绩 在 一 定 程 
RE CBT DR ie PRS. I nU 
对 “优秀 ”的 隶属 度 可 以 用 如 图 3. 3 所 示 的 
曲线 表示 : B 

在 这 个 例子 中 , 设 模糊 集合 “优秀 为。 ES SUODUSTHEREGRE 
A . WU SE Ja BE PRG a GON : 


“优秀 * 
= 
Ja 


对 
m= 
I3 


Ina 


0 Dec aua d 
pa(u) = dRu—2 3 uA. (3. 5) 
1 4.5 «us 
此 处 的 论 域 是 连续 的 ,模糊 集合 A 用 Zadeh 表示 法 可 以 表示 为 ; 
2 
it — 2 
a=] 24 一 (3. 6) 
Bi Su U E ETa E: i 4.5<as5 UW 


用 序 对 表示 法 可 以 表示 为 ， 
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A - (G0 [0 uc ae (en 2) |a as] 


-i1íG,Dl4.5zssx5j CND 

JURE ,对 于 一 个 绩 点 为 4.4 的 学 生来 说 ,尽管 他 的 成 绩 没有 达到 4. 5, AE” YS 
属 度 小 于 1, 但 他 对 “优秀 ”这 个 模糊 集 的 隶属 度 约 为 0.93, 而 非 完全 被 排除 在 "优秀 ” 
c. 

对 于 模糊 集合 来 说 ,隶属 度 图 数 非常 重要 。 一 个 模糊 集合 可 以 被 其 隶属 度 图 数 唯 一 
定义 。 在 上 面 的 例子 中 ,隶属 度 图 数 是 一 个 分 段 图 数 , 每 一 段 禾 是 线性 的 。 

事实 上 ,向 用 隶属 度 图 数 的 形式 有 很 多 种 ,如 图 3.4 Bros AI = fA JE PK BRIE PR C. 
sigmoid 果 数 等 。 当 隶属 度 图 数 有 和 兰 干 点 取 值 为 1, 其 余 点 取 值 为 0 时 ,该 困 数 对 应 的 模 
糊 集 合 可 以 看 作 一 个 经 典 集合 。 


1.0 1.0 
0.8 0.8 
EM 0.6 i 0.6 
ld WE 
入 0.4 * 0.4 
0.2 0.2 
m Y 5 10 15 20 a 0 5 10 15 20 
输入 给 人 
(a) ZAPA (b) PET BH AY 
1.0 
0.8 
EX 0.6 
E 
* 0.4 
0.2 
0.0 
0 3 10 15 20 
输入 
(c) sigmoid r£ Zi 


图 3.4 隶属 度 函 数 举例 


在 不 同 的 具体 问题 中 ,往往 需要 选择 不 同 的 隶属 度 图 数 ,对 隶属 度 图 数 的 选择 通常 依 
赖 相关 领域 的 专家 知识 ，。 


322 模糊 集合 上 的 运算 


模糊 集合 的 子 集 可 以 这 样 定义 ， 
定义 3.2 4SAM4MieMU LAELA u, PA pa GO ug GO WI PRP RG A 
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是 模糊 集合 BIBT. 
古典 集合 定义 有 交 、 并 、 人 种 等 运 和 拭 。 在 模糊 集合 上 , 交 、 并 、 补 等 运算 也 被 定义 。 设 
A.B 是 论 域 U 上 的 模糊 集合 , 则 


交 运算 ， 
Hane GOD = min (ua GO «qug GO } (3.8) 

并 运算 : 
pau) = max (pa GO ug GO] (3,9) 

补 运 算 : 
pau) = 1— pa Cu) (3, 19) 


上 述 模 糊 集 合 上 的 运算 的 定义 都 古 目 前 广泛 认可 的 形式 ,但 这 些 定义 并 非 唯一 。 不 
同文 献 中 可 能 存在 对 相同 名 称 运算 的 不 同 定义 ,这 是 需要 注意 的 。 

不 难 发 现 , 这 些 定义 在 模糊 集合 上 的 运算 也 满足 一 系列 定律 : 

eS TE : 


AUA=A, ANA=A (3.1) 
aC Hh FF 
ANB=BNA, AUB=BUA (3. 12) 
ie S 
(AUB) UC=AU(BUO) 5 
(ANBNC=AN BNC) 


分 配 律 : 
ANBUO=ANBU ANC 


(3.14) 
AUG O -(UBf (OUO 
吸收 律 
AN(AUB)=A, AU(ANB)=A adik 
两 极 律 
ANU=A, AUU-A (3. 16) 
A(129— 083. AUG-O 
复原 律 i 
A=A (3, 173 
摩根 律 
AUB=ANB, AMB=AUB (3, 18) 


以 上 是 模糊 集合 上 的 运算 定律 ,古典 集合 上 也 存在 相应 的 定律 。 然 而 ,古典 集合 上 成 
下 的 下 慎 律 和 排 中 律 对 于 模糊 集合 不 再 成 立 。 


323 模糊 逻辑 
模糊 集合 理论 中 , 论 域 中 的 一 个 元 素 不 再 只 有 属于 集合 A 和 不 属于 集合 A 两 种 情 
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况 。 类 似 的 模糊 理论 也 可 以 用 于 扩展 经 典 人 逻辑 。 经 典 逻 辑 是 二 值 逻 辑 , 其 中 一 个 变 元 只 
AE A BOO CL 和 0) 两 种 取 值 ,其 间 不 存在 任何 第 三 值 。 波 兰 逻 辑 学 家 J. Lukasiewicz 
第 一 次 提出 了 了 多 值 逻 辑 , 然 而 ,Lukasiewicz 提出 的 这 种 三 值 逻 辑 中 ,命题 取 值 是 离 艇 并 界 
限 分 明 的 ,依旧 诉 诸 精 确 性 ,难以 体现 亦 此 亦 彼 的 模糊 性 。 模 糊 逻 辑 也 属于 一 种 多 值 逻 
AH ,在 模糊 逻辑 中 , 变 元 的 值 可 以 是 L0,1j 区 间 上 的 任意 实数 。 

ix P.Q 为 两 个 变 元 ,模糊 多 辑 的 基本 运 鼻 定义 如 下 : 


(1) 补 运 算 P=1—P (3. 19) 
(2) 交 运 算 : PAQ=min (P,Q) (3. 20) 
(3) 并 运算 : PV Q=max (P,Q) (3. 21) 
(4) Ae: P—Q=((1—P) VQ) (3, 22) 
(5) 等 价 ; P?Q=(P>Q) A(Q>P) (3, 23) 


根据 如 上 定义 ,可 得 模糊 人 逻辑 运算 定律 如 下 : 
Cl) ESRB. 


— (3. 24) 
PAP=P 

(2) 交换 律 . 
dele (3. 25) 
PAQ=QAP 

(3) 结合 律 : 

— — (3. 26) 


PAGOGQAR)—OPAQDAP 
C4) IKIE : 
PV(PAQ)=P (3. 27) 
PACPVQ)=P 
(5) 分 配 律 : 
PV(QAR)=(PVQ)ACPVR) (3. 28) 
PACQVR)=(PAQVCPAR) 
(6) 双重 否定 律 : 


P=P (2.299 
(7) HEAR TE : 
PVQ=PAQ (3. 30) 
PAQ=PVQ 
(8) "E BAM : 
1VP=1 OVP=P (3. 31) 


1AP=P 0AP=0 
JOC HE BE AS ZS X np ELM TERE F BR SUITS fe Ta 
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324 模糊 关系 及 其 合成 运算 


模糊 关系 可 以 看 作 经 典 逻 辑 关 系 的 扩展 。 可 以 给 出 模糊 关系 的 定义 如 下 : 
定义 3.3 设 X 和 Y 是 两 个 经 典 集 合 ,XXxY 是 X 与 了 的 笛 卡 儿 乘 积 。 知 将 
XXY-—iG.y|x€X.yc€Y AEB p mtu. XXY 上 的 模糊 关系 是 和 XY 的 
一 个 模糊 子 集 , 记 为 尺 。 一 般 来 说 ,R RREK RG. y KEE X EWK SY E 
JUR y RAM FE 
模糊 关系 也 是 一 种 模糊 集合 , 奢 R(x,y) 取 值 为 0 或 1, 这 种 模糊 集合 就 每 同 于 经 典 
集合 ,模糊 关系 也 退化 为 经 三 关系 的 形式 。 当 论 域 离散 且 有 限时 , 像 经 典 天 系 可 以 与 成 定 
阵 形 式 一 样 ,模糊 关系 也 可 以 写成 矩阵 形式 。 
经 生 关 系 可 以 认为 是 经 内 集合 之 间 的 一 种 映射 , 模 精 关系 也 是 模 炎 集合 上 的 一 种 映 
IM, RAM KARE ,模糊 关系 上 也 定义 了 映射 特有 的 合成 运 鼻 。 
设 X,Y,Z AIM REX XY 上 的 模糊 关系 ,95 是 YXZ 上 的 模糊 关系 ,TT 是 RR 到 
S 的 合成 , 记 为 二 RS, 其 隶属 度 函 数 定义 如 下 ， 
Urs Cr» z) E Cun Cr» y) X usCysz20) (4a. a2) 
在 这 里 , V 表示 对 所 有 y 取 最 大 值 ,X 是 二 项 积 算 子 ,可 以 定义 为 取 最 小 值 或 者 代数 
积 等 。 在 不 同 的 问题 中 ,根据 具体 定义 的 不 同 , 模 糊 关系 的 合成 运算 也 不 尽 相同 
在 模糊 推理 系统 中 ,最 第 用 的 合成 运算 是 最 大 一 最 小 合成 ,其 计算 公式 为 : 
Re Se*upg.s xz) = (min (ur Gres y) us Cysz)0)) (3. 33) 
采用 这 种 合成 公式 的 推理 被 称 为 最 大 一 最 小 推理 。 


3.3 模糊 逻辑 推理 


模糊 推理 可 以 认为 是 一 种 不 精确 的 推理 ,是 通过 模糊 规则 将 给 定 输入 转化 为 输出 的 
过 程 。 本 节 主 要 介绍 模糊 推理 的 概念 .方法 ,并 通过 实例 说 明 模糊 推理 的 过 程 。 本 节 需 要 
掌握 要 点 为 ， 

。 模糊 语言 变量 和 语言 算 子 的 概念 。 

。 模糊 规 则 的 概念 。 

。 模 糊 推 理 的 概念 和 方法 。 


331 模糊 规则 、 语 言 变 量 和 语言 算 子 


什么 是 模糊 推理 ?” 什么 是 模糊 规则 ? 可 以 这 么 认为 ,模糊 推理 就 是 将 输入 的 模糊 集 
通过 模糊 逻辑 方法 对 应 到 特定 输出 模糊 集 的 计算 过 程 。 模 糊 规 则 就 是 在 进行 模糊 推理 时 
依赖 的 规则 ,通常 可 以 用 日 然 语 言 表述 。 其 形式 如 “如 采 张 三 比较 胖 , 则 张 三 需 要 进行 较 

要 了 人 解 模 糊 规 则 ,前 先 要 了 解 几 个 概念 。 

1. 语言 变量 


语言 变量 ,对 应 于 目 然 语言 中 的 一 个 词 或 者 一 个 短语 、 句 子 。 它 的 取 值 就 是 模糊 集 


第 33k ”模糊 逻辑 
ft. Zadeh 给 语言 变量 下 了 如 下 定义 ， 


U Æ u 的 论 域 ,如 [20kg, 120kg],T(Cz) 是 语言 变量 取 值 的 集合 ,如 { 瘦 ,中 等 , 胖 ,…} ,而 
每 个 取 值 都 是 论 域 为 U 的 模糊 集合 ,G 为 语法 规则 ,M 为 语义 规则 ,用 以 产生 各 模糊 集合 

震 归 注意 的 是 ,这 个 五 元 组 只 是 对 培 言 中 可 全 究 对 象 的 搞 述 ,对 于 不 同 领 域 的 不 同 具 
体 问 题 ,定义 语言 变量 的 标准 不 尽 相 同 。 

2. 语言 算 子 

在 日 然 语 言 中 ,第 弟 用 可能” “大约 ”“ 比 较 ”“ 很 ”等 词语 来 进行 修饰 ,表示 可 能 性 、 
近似 性 和 程度 。 为 了 接近 日 然 语 言 的 描述 习惯 ,更 方便 地 将 卓然 语言 形式 化 与 定量 化 , 诸 
言 丰 子 的 概念 税 引 入 ,用 于 对 模糊 集 进行 修饰 。 语 言 算 子 有 语气 算 子 ,模糊 化 算 子 、 判 定 
算 了 于 。 这 里 主要 介绍 语气 算 于 。 

HARMES C, 语 气 算 子 互 , 则 HC 代表 施加 了 语气 算 子 后 的 模糊 集合 。 语 气 算 子 
的 一 种 较 筑 用 的 定义 为 : 

*4 HOS" E. HC C* , 即 对 每 个 元 素 的 隶属 度 取 4 次 方 。 

4 H AR”, ACH=C , 即 对 每 个 元 系 的 隶属 度 取 2 次 方 。 

SH KHH, HC=C" , 即 对 每 个 元 素 的 隶属 度 取 0. 5 次 方 。 

4 H A" HORE. HC— C^ LBIDSEREAT 268 AY OR Jg BEIC 0. 25 次 方 。 

3.“ 如 果 一 则 ”规则 

“如 果 一 则 ”规则 Gf-then 规则 ) 是 一 种 包含 了 模糊 逻辑 的 条 件 陈述 语句 。 基 础 的 “如 
采 一 则 ”规则 表述 如 下 : 

If r is A then y is BOG x ERA, MA y ZB) 

其 中 , 设 A 的 论 域 是 U,B 的 论 域 是 V,A 与 B 均 是 语言 变量 的 具体 取 值 , 即 模糊 集合 ， 
Zz 与 y 是 变量 名 。 规 则 中 的 xz is A 又 称 前 件 ,y is B 叉 称 后 件 。 在 规则 “如 采 张 三 比较 胖 
则 运动 量 比较 大 "中 ,z WEE“ TK =”. y 为 “运动 量 ”, “比较 腾 ” 和 “比较 大 ”分 别 为 x 和 y 的 
取 值 之 一 。 

这 里 需要 注意 的 是 ,模糊 集合 A SB 之 间 的 关系 是 模糊 蕴含 关系 ,可 以 记 作 
A 一 B*°A 一 B 是 AXB 上 的 模糊 关系, 其 定义 有 多 种 ,常见 的 两 种 是 最 小 运算 
R.(Mamdani) 和 积 运 算 R,(CLarsen) ,如 式 (3. 34) 所 示 。 

R.Cr,y)— uA GO A ug Cy) (3. 34) 
R,CGr y) pax) X ugCy) 


3.3.3 模糊 推理 
模糊 推理 是 通过 模糊 规则 将 输入 转化 为 输出 的 过 程 。 人 们 大 都 熟悉 这 样 一 种 三 


Brie : 
大 前 提 : 所 有 的 猫 都 有 尾巴 。 
小 前 提 : 花猫 是 猫 。 
结论 : 花猫 有 尾巴 。 
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模糊 推理 也 有 类 似 的 形式 ,但 与 经 典 馆 辑 中 的 三 段 论 并 不 完全 相同 。 例 如 

X Bj $e MW): 硅 x 是 A, 那 么 y 是 B。 

小 前 提 ( 输 入 ): r HEC. 

结论 (输出 ); yx D. 

可 以 注意 到 ,在 模糊 推理 中 ,小 前 提 没 有 必要 与 大 前 提 的 前 件 一 致 (A 与 C 不 必 完 全 
一 致 ) ,结论 没有 必要 与 大 前 提 的 后 件 一 致 (B 5 D 不必 完 全 一 致 ) 。 这 可 以 认为 是 一 种 
不 精确 的 推理 。 

模糊 推理 中 ,大 前 提 就 是 模糊 规则 ,模糊 规则 中 的 A 和 B 都 是 语言 变量 的 取 值 , 即 模 
糊 集 合 , 如 “优秀 ”“ 瘦 ”等 ;小 前 提 是 模糊 推理 系统 的 输入 ,C 是 一 个 模糊 集合 (实际 应 用 
中 ,C 常常 是 硅 干 个 精确 输入 构成 的 经 典 集 合 ,这 时 C 相当 于 在 干 点 隶属 度 为 1、 其 余 点 
隶属 度 为 0 的 特殊 模糊 集合 ); 绍 论 中 D 就 古 模 糊 推理 的 辆 出 ,这 个 轩 出 也 是 一 个 模糊 
集合 。 

在 模糊 推理 中 ,关于 模糊 弄 含 的 推理 方式 有 两 种 ,一 种 是 肯定 式 的 推理 , 另 一 种 是 否 
定式 的 推理 ,如 表 3.2 所 示 。 下 文 将 主要 介绍 肯定 式 推理 。 

表 3.2 肯定 式 推 理 与 否定 式 推理 
输入 (小 前 提 ) x is A’ y is B’ 


规则 (大 前 提 ) If x is A then y is B If x is A then y is B 
输出 (结论 ) yis B’ x is A 


肯定 式 利 用 输入 中 的 模糊 集合 ARMAS RA R=A>B 的 合成 计算 结论 B', 否 
定式 则 根据 模糊 蕴含 关系 R=A>B 和 模糊 集合 B' 的 合成 计算 A 。 二 者 的 计算 公式 分 
别 为 : 

B'—A'*R (肯定 式 ) 
A’=R°B (eX) 

上 式 中 的 合成 操作 有 不 同 的 定义 方法 ,最 第 用 的 就 是 式 (3. 33) 中 的 最 大 一 最 小 合成 ， 
与 之 对 应 的 推理 过 程 为 最 大 一 最 小 推理 。 

下 面 通 过 一 个 例子 说 明 模 糊 推 理 的 过 程 ,为 方便 摘 述 ,例子 中 的 论 域 选 取 离 艇 论 域 。 

例 3.2 某 单位 工作 成 绩 评 定 有 5 种 分 数 吕 =={1,2,3,4,5) ,成 绩 的 取 值 范围 T CT. 
作成 绩 ) 王 { 好 ,非常 好 ,比较 好 , 差 ,…}。 则 Di 为 “好 ?“ 非 常 好 ?等 模糊 集合 的 论 域 ， 
T, 为 模糊 规则 条 件 语句 中 语言 变量 “工作 成 绩 ” 的 取 值 范围 。 

该 单位 发 放 的 报酬 有 5 种 数额 ,U, = (100 元 ,200 元 ,500 元 ,800 元 ,1200 26) ,报酬 
的 论 域 上 有 几 个 模糊 标记 ,T (报酬 )=={ 高 ,非常 高 ,比较 高 , 低 ,…}, 则 Us 为 模糊 集合 
“高 "” “非常 高 ”等 的 论 域 ,T, 为 模糊 规则 结论 语句 中 语言 变量 “报酬 ”的 取 值 范围 。 

现 假设 模糊 集合 “好 ”={(1,0),(2,0.2),(3,0.5),(4,0.8),(5,1)} ,写成 矩阵 形式 为 
[0,0.2,0.5,0.8,1],“ 非 常 好 ”集合 每 个 元 素 的 隶属 度 是 “好 ”集合 中 相应 元 素 隶 属 度 的 二 
次 方 。 假 设 模 糊 集合 “高 "二 {(100,0),(200,0.1),(500,0.5),(800,0.6),(900,1)} ,写成 
矩阵 形式 为 [0,0.1,0.5,0.6,1]。.“ 非 常 高 ”集合 每 个 元 素 的 隶属 度 是 “高 ”集合 中 相应 元 
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FOR J REN SUT . 

定义 一 条 模糊 规则 : Aa TE I “ae”. WU “a”. ASR R=A>B 的 形式 ， 
WW A 是 “好 ”,B 是 “高 ”。 

“KA RSR, WR. Gro) — pa Ge) A ug Cy) ,这 条 规则 对 应 的 模糊 关系 矩阵 为 : 


0 0 0 0 0 
D 0.1 0.5 0,72 0.27 
RK—A--B-—|0 0.1 0.5 0.5 0.5 (3. 36) 
B Bi Ul Ub Ons 
ü 0.1 0,5 0.6 1 


下 面 应 用 以 上 规则 ,进行 最 大 一 最 小 模糊 推理 ， 
当 A' 一“ 好”, 即 输入 模糊 集合 “好 ”时 , 欲 得 到 输出 B ,采用 公式 B, =A REGERE: 
[00 0 0 0 


0 Wl 62 92 «2 
Bi,—A'.R-—[0 0.2 0.5 0.8 TI 0.1 0.5 0.5 0.5 
0 0.1 0.5 0.6 0.8 
0 0.1 0.5 0.6 1 

= ud 05 ws 1] (3. 37) 


其 中 ,Bi 的 第 一 个 元 素 0 HCCOA 0) V (0. 2A00 V 0.5A00 V CO, BAOO VC A0)) 
算得 到 ,其 余 依次 类 推 。 可 以 发 现 ,B' 就 是 模糊 集合 “高 ”。 

类 似 地 , 当 4 = 非常 好 ?, 即 输入 模糊 集合 “非常 好 ?时 ,和 欲 得 到 输出 B^ ,采用 公式 
B', —A'*R 进行 计算 : 


00 0 O 0 
D mi wh uw? 9x2 
B,=A’ °R=[0 0.04 0.25 0.64 1]*|O 0.1 0.5 0.5 0.5 
0 01 OF 06 0.8 
0 0.1 05 G6 1 
=[0 0.04 0.25 0.6 1] (3. 38) 


B: 也 是 一 个 模糊 集合 ,可 以 发 现 ,“100 元 ”“200 元 ”和 “500 元 ”对 B; 的 隶属 度 要 比 
对 Bi 的 隶属 度 低 , 即 在 工作 成 绩 为 “非常 好 ”的 情况 下 ,运用 本 例 中 给 出 的 规则 ,“100 元 ”、 
“200 75" HI" 500 元 "这 些 较 低 报酬 对 结论 模糊 集合 的 隶属 度 比 在 工作 成 绩 为 "好 的 情况 
PAK RET a ARI 

DAE BIE POR A FR R. 3x Ar 3E EAS ze ME — FY)» FE AS I8] RS Tet R R AE H BEA 
相同 。 


3.4 ”模糊 计算 的 流程 


在 实际 生活 中 ,第 般 出 现 这 样 的 情况 : 工厂 里 的 师傅 将 多 年 的 经 验 总 结 成 许多 条 规 
则 ,如 “如 采 转 速 快 ,而 且 温 度 高 ,就 减少 加 热 时 间 ” 等 。 现在, 要求 学徒 在 没有 现场 指导 的 
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情况 下 ,根据 这 些 经 验 规则 和 现场 观察 到 的 情况 ,决定 是 增加 还 是 减少 加 热 时 间 , 以 及 增 
加 或 减少 多 长 时 间 。 这 个 过 程 如 有 果 由 机 硕 来 完成 ,就 是 一 种 模糊 计算 的 过 程 。 本 节 的 主 
要 内 容 为 介绍 模糊 计算 的 基本 流程 ,其 重点 包括 : 

。 模糊 计算 的 基本 思想 ; 

* 模糊 计算 的 基本 流程 ; 

。 模糊 计算 的 一 个 简单 实例 。 
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生活 中 人 经营 会 过 到 这 样 的 情况 : 要 根据 几 个 变量 的 输入 ,以 及 一 组 模糊 表述 的 规则 ， 
来 决定 输出 。 如 在 淮 溉 问题 中 ,要 根据 温度 、 湿 上 度 每 变量 决定 淮 兴 时 间 的 多 少 。 这 个 决定 
灌溉 量 的 过 程 , 宕 要 依据 一 些 从 以 往 的 灌溉 中 得 到 的 经 验 。 这 些 经 验 往往 来 日 领 域内 专 
家 ,并 且 以 规则 的 形式 表述 ,例如 : 当 温度 高 而 且 湿 度 小 的 时 候 ,灌溉 时 间 为 长 。 

模糊 计算 涉及 的 就 是 依据 模糊 规则 ,从 几 个 控制 变量 的 输入 得 到 最 终 辆 出 的 过 程 。 
这 个 过 程 可 以 细 分 为 4 个 模块 : 模糊 规则 库 模糊 化 ,推理 方法 和 去 模糊 化 。 

模糊 规则 库 是 专家 提供 的 模糊 规则 ,在 上 面 的 例子 里 ,模糊 规则 库 包 含 了 知 干 条 类 似 
于 “ 当 温 度 高 而 且 湿 度 小 的 时 候 , 灌 溉 时 间 为 长 ”的 陈述 。 模 糊 化 是 根据 隶属 度 函 数 从 具 
体 的 输入 得 到 对 模糊 集 隶 属 度 的 过 程 。 由 于 规则 是 由 模糊 的 自然 语言 表述 的 ,而 输入 是 
克 确 数值 ,没有 模糊 化 的 过 程 ,规则 就 难以 被 应 用 。 推 理 方法 是 从 模糊 规则 和 输入 对 相关 
模糊 集 的 隶属 度 得 到 模糊 结论 的 方法 。 去 模糊 化 就 是 将 模糊 结论 转化 为 具体 的 、 精 确 的 
箱 出 的 过 程 。 由 于 推理 纺 论 是 用 模糊 隶属 度 表示 的 ,没有 去 模糊 化 的 过 程 , 搞 论 就 无 法 鹤 
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下 面 以 一 个 向 单 例子 来 说 明 模 糊 计 算 的 流程 。 

例 3.3 某 自动 控制 系统 需要 根据 设备 内 温度 ,设备 内 湿度 决定 设备 的 运转 时 间 。 
在 这 里 ,输入 变量 是 温度 和 湿度 ,输出 为 运转 时 间 。 

温度 的 论 域 是 [0C,100C], 有 3 个 模糊 标记 : 低 、 中 、 高 。 湿 度 的 论 域 是 
[0% ,60%], 有 3 个 模糊 标记 ; 小 .中 大。 运转 时 间 的 论 域 是 L0s，1000s], 有 3 个 模糊 
标记 : 短 .中 长 。 这 些 模糊 标记 在 模糊 规则 中 被 使 用 。 输 入 变量 和 输出 变量 对 各 模糊 标 
WAY RJ BE eR XC 3.5 所 示 。 


1.0 1.0 

0.8 0.8 
il 0.6 " 0.6 
HE [E 
$e 0.4 E 0.4 

0.2 ‘ ‘ 0.2 i i 

0.0 0.0 

0 20 40 60 80 100 0 10 20 30 40 50 的 
温度 eC iiu / 96 
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专家 给 出 的 控制 规则 如 表 3. 3 所 示 。 
表 3.3 专家 提供 的 模糊 控制 规则 


温度 | 


小 中 长 
中 短 中 
大 长 短 


现在 假设 该 系统 已 经 探知 相关 输入 变量 的 取 值 : 设备 内 温度 = 二 64C ,设备 内 湿 
度 二 22%。 

计算 输出 过 程 如 下 : 

1. 输入 变量 模糊 化 并 激活 相应 规则 

通过 隶属 度 图 数 进行 计算 ,可 以 得 到 该 温度 与 湿度 对 每 个 模糊 标记 的 隶属 度 , 如 
表 3.4 和 表 3.5 所 示 。 


+ + | fF 


3.4 输入 温度 的 隶属 度 表 3.5 输入 湿度 的 隶属 度 

模糊 标记 隶属 度 模糊 标记 REE 
低 0 小 0. 075 
中 0. 53 中 0. 467 
高 0. 1 X 0 


由 于 温度 对 “ 低 ” 的 隶属 度 为 0, 而 湿度 对 “大 ”的 隶属 度 为 0, 故 控制 规则 表 内 条 件 包 
售 低 温度 和 大 湿度 的 规则 不 被 激 活 。 而 有 如 下 4 条 规则 被 激活 : 

(1) 在 温度 为 高 且 湿 度 为 小 , 则 运转 时 间 为 长 。 

(2) 右 温 度 为 中 上 且 湿 度 为 中 , 则 运转 时 间 为 中 。 

(3) 寿 温 度 为 中 旦 湿度 为 小 , 则 运转 时 间 为 长 。 

(4) 寿 温 度 为 高 上 且 湿 度 为 中 , 则 运转 时 间 为 中 。 

2. sionerien 

4 条 规则 中 ,前 件 被 满足 的 程度 越 高 ,规则 的 强度 就 武大 ,对 输出 就 越 有 指导 作用 。 

alc AP 高 ”的 隶属 度 为 0. 1, 而 湿度 对 “小 ”的 隶属 度 只 有 
0.075, 可 见 这 条 规则 的 强度 不 大 ， 

由 于 规则 条 件 中 连接 两 个 条 件 的 是 “日 ”, 故 在 此 用 取 最 小 值 法 确定 4 条 规则 的 强度 : 

规则 (1): 温度 对 “高 "隶属 度 为 0. 1 ,湿度 对 "小 ?隶属 度 为 0.075,min(0.1,0.075) 王 0. 075。 

规则 (2): 温度 对 “中 ”隶属 度 为 0. 53, 湿 度 对 “中 ”隶属 度 为 0. 467. min CO. 53. 
0. 467) —0. 467. 

规则 (3): 温度 对 “中 ”隶属 度 为 0. 53, 湿 度 对 “小 ”隶属 度 为 0. 075, min CO. 53, 
0.075) —0. 075, 

规则 (4): 温度 对 “高 ?隶属 度 为 0.1, 湿 度 对 “中 ?隶属 度 为 0.467,min(0.1,0. 467) —0. 1. 

3. 确定 模糊 输出 

规则 (1) 和 规则 (3) 的 结论 是 运转 时 间 为 长 ,规则 (2) 和 规则 (4) 的 结论 是 运转 时 间 为 
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中 。 故 运转 时 间 对 “长 ”的 隶属 度 是 规则 (1) 和 规则 (3) 强 度 较 大 者 0.075, 运 转 时 间 对 
“中 ”的 隶属 度 是 规则 (2) 和 规则 (4) 强 度 较 大 者 0. 467. 
最 终 的 输出 为 : 
„ — 0. 075 X 1000 + 0. 467 x 500 
0. 075 +0. 467 
以 上 例子 中 ,步骤 1 需要 从 具体 输入 得 到 对 模糊 集 的 隶属 度 ,并 激活 相关 模糊 规则 。 
从 具体 输入 得 到 对 模糊 集 隶 属 度 的 算 子 又 叫 模糊 化 算 子 。 
步骤 2 和 需要 利用 模糊 规则 进行 推理 得 出 结论 。 在 不 同 
的 问题 中 ,推理 方法 可 能 不 相同 。 以 上 例子 中 ,步骤 2 采用 
接受 输入 变量 的 是 最 小 推理 , 即 取 条 件 中 隶属 度 的 最 小 值 ,这 是 一 种 简单 


步骤 3 需要 综合 步骤 2 中 的 结论 并 从 模糊 隶属 度 得 到 


利用 相关 模糊 规则 实际 的 输出 值 。 从 模糊 隶属 度 得 到 实际 输出 的 算 子 又 叫做 
mf 去 模糊 化 算 子 。 去 模糊 化 的 方法 有 多 种 ,常用 的 有 重心 法 、 
等 面积 法 和 极 值 法 。 


= 569, 2(s) 


开始 


利用 结论 确定 实际 输出 


(去 模糊 化 ) 图 3.6 显示 本 模糊 计算 的 基本 流程 。 

本 节 的 例子 中 只 涉及 一 组 输入 。 当 涉及 多 组 输入 时 , 计 
Ms 算 量 常常 较 大 。 在 处 理 简单 问题 时 ,可 以 预先 制作 好 控制 
表 , 使 用 时 查询 即 可 。 在 处 理 复杂 问题 时 ,控制 表 也 会 占用 


多 模糊 规则 ,造成 系统 设计 的 复杂 性 增加 。 为 解决 这 些 问 
题 ,可 以 将 模糊 计算 与 上 一 章 介绍 的 神经 网 络 的 学 习 能 力 结合 起 来 。 模 糊 计算 与 神经 网 
络 的 结合 将 在 下 一 节 中 进行 详细 介绍 。 


3.5 模糊 逻辑 的 应 用 


模糊 理论 被 提出 以 后 ,在 多 个 领域 得 到 了 应 用 。 由 于 模糊 逻辑 适合 描述 复杂 系统 与 
人 的 思维 ,其 潜力 不 容 忽 视 。 

首先 ,对 于 复杂 且 没 有 完整 数学 模型 的 非 线 性 问题 ,模糊 理论 提供 了 一 种 有 效 的 解决 
方案 , 即 在 不 知晓 具体 模型 的 情况 下 通过 经 验 规则 求解 。 

其 次 ,模糊 逻辑 与 其 他 计算 智能 算法 结合 后 ,能 够 实现 优势 互补 ,提供 了 将 人 类 在 识 
别 .决策 .理解 等 方面 的 模糊 性 引入 机 器 及 其 控制 的 途径 。 这 种 混合 算法 在 许多 领域 已 经 
得 到 了 应 用 。 

1. 模糊 逻辑 与 神经 网 络 的 结合 与 应 用 

神经 网 络 是 一 种 模仿 生物 神经 系统 的 计算 智能 方法 ,是 生物 学 与 计算 机 科学 结合 的 
产物 。 模 糊 系统 常常 与 神经 网 络 结合 ,用 于 解决 复杂 的 非 线性 问题 。 

模糊 系统 与 神经 网 络 都 是 人 工 智 能 领域 的 重要 方法 ,二 者 之 间 存 在 理论 上 的 联系 。 
1993 年 ,Buckley 等 外 证 明了 模糊 专家 系统 与 前 馈 神 经 网 络 等 价 , 即 任意 的 模糊 专家 系统 
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可 用 前 馈 神 经 网 络 以 任意 精度 近似 表示 ,反之 亦 然 。2000 年 ,Li 等 趾 证 明了 模糊 系统 与 
三 角 波 前 馈 神 经 网 络 等 价 , 并 证 明了 非 线 性 波 神 经 网 络 可 以 用 三 角 波 神经 网 络 表示 ,进而 
得 出 模糊 系统 与 前 馈 神 经 网 络 等 价 的 结论 。2005 Æ, Kolman 等 中 从 理论 上 证 明了 
Mandani 模型 的 模糊 系统 与 标准 前 馈 神 经 网 络 在 数学 上 等 价 。2008 年 , Mantas 5^7 iE 
明了 基于 0 阶 TSK 规则 的 模糊 系统 与 多 层 击 癌 神经 网 络 等 价 。 

然而 ,在 实际 应 用 中 ,神经 网 络 与 模糊 逻辑 有 一 些 重要 区 别 。 例 如 ,模糊 系统 的 知识 
(规则 与 隶属 度 图 数 ) 是 预先 提供 的 、 显 性 的 ,其 来 源 是 相关 领域 专家 ,神经 网 络 的 知识 是 
通过 学 习 得 到 的 , 隐 含 在 网 络 结构 中 ,其 来 源 是 数据 。 表 3. 6 cares seen 
的 区 别 和 联系 。 


表 3.6 模糊 系统 和 神经 网 络 的 区 别 与 联系 


比较 项 目 模糊 系统 神经 网 络 


z 均 为 人 工 智 能 领域 的 重要 方法 , 且 模 糊 系 统 与 前 馈 神经 网 
络 在 数学 上 等 价 


允许 目 然 语言 表述 的 知识 


当 规 则 数目 过 大 时 ,由 专家 提供 模糊 系统 的 全 部 规则 变 得 不 具 可 操作 性 。 这 时 ,将 模糊 
系统 和 神经 网 络 结合 ,通过 神经 网 络 的 自 适 应 学 习 获 得 部 分 规则 ,不 失 为 一 种 解决 方法 。 

将 神经 网 络 与 模糊 系统 结合 的 工作 是 许多 研究 者 的 关注 点 。Lin 等 人 着 提出 了 一 种 
递归 模糊 细胞 神经 网 络 ,该 系统 能 够 同时 目 动 对 网 络 结构 和 参数 设置 进行 学 习 。Liu 等 
人 中 则 提出 了 一 种 三 层 前 馈 模 糊 神经 网 络 的 学 习 算法 。 文 献 L10] 将 TSK 模糊 模型 与 小 
波 神 经 网 络 结合 ,提出 了 一 种 用 于 解决 预测 和 识别 问题 的 小 波 递归 模糊 神经 网 络 。 此 外 ， 
文献 L11j 提 出 了 一 种 用 于 解决 一 类 非 线 性 问题 的 自 组 织 神 经 控制 方法 。 

模糊 系统 适合 于 描述 自然 语言 与 人 类 思维 中 的 模糊 性 ,而 神经 网 络 具 有 学 习 、 联 想 、 
记忆 的 能 力 。 模 糊 系 统 与 神经 网 络 结合 ,实现 了 优势 互补 ,除了 神经 网 络 的 经 由 应 用 外 ， 
其 应 用 范围 已 涵盖 了 机 械 控制 ,图像 处 理 \ 电 力 系 统 等 领域 。 

分 类 和 聚 类 是 神经 网 络 的 经 典 应 用 。 分 类 解决 的 是 将 输入 数据 归 入 正确 类 别 的 问 
题 ,而 聚 类 问题 是 在 实现 不 知道 有 何 类 别 的 情况 下 将 数据 划分 为 若干 类 的 问题 。 文 献 
[13jL14] 使 用 了 模糊 最 大 一 最 小 神经 网 络 解决 这 两 类 经 由 问题 。 此 外 ,文献 L12j] 中 ,一 种 
模糊 神经 PID 控制 器 被 提出 。 该 控制 器 被 应 用 于 控制 交流 感应 驱动 器 速度 。 文 献 [15 J 
中 ,一 种 结合 了 模糊 聚 类 技术 的 Hopfield 神经 网 络 被 用 于 医学 图 像 分 割 。 文 献 L16j 中 ， 
一 种 解决 雷达 脉冲 压缩 问题 的 模糊 神经 网 络 被 提出 。 各 种 版 本 的 模糊 神经 网 络 还 被 应 用 
于 支持 多 媒体 服务 器 的 分 层 小 区 系统 资源 管理 2 .电力 市 场 短 期 价格 预测 2 、 电 网 故障 
ATÆ] | Fe f e 87 、 机 器 人 自 适应 控制 2 .温度 控制 、 合 成 口径 雷达 图 像 分 类 -等 。 

此 外 ,模糊 神经 网 络 在 心理 学 .金融 系统 .语言 学 、. 生 态 学 等 领域 也 已 经 得 到 了 应 用 ， 
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在 此 不 再 获 述 ,读者 可 以 日 行 阅读 相关 材料 。 
2. 模糊 逻辑 与 进化 计算 的 结合 与 应 用 
进化 计算 算法 包括 遗传 算法 (Genetic Algorithm. GA) WR HC Ant Colony 
Optimization, ACO) A T HESA (Particle Swarm Optimization，PSO) 等 ,关于 这 些 
算法 将 会 在 后 面 的 章 攻 中 进行 详细 介绍 。 进 化 计算 算法 维护 一 个 种 群 ,在 解 空 间 上 进行 
搜索 ,其 与 模糊 逻辑 的 结合 大 致 有 两 种 途径 : 一 种 是 在 进化 计算 算法 运行 时 使 用 模糊 控 
制 来 调整 群 镶 能 算法 的 参数 , 另 一 种 是 在 醒 糊 系统 中 用 进化 计算 算法 来 产生 .挑选 和 优化 
模糊 控制 规则 与 隶属 度 晒 效 。 
众多 人 研究 表明 ,进化 计算 算法 的 参数 设置 往往 会 对 算法 表现 产生 较 大 的 影响 ,而 求解 
不 同 问 题 或 同一 问题 的 不 同 阶段 时 ,参数 的 最 优 设 置 常 常 不 同 。 参 数 的 动态 目 适 应 调整 
在 一 定 程 度 上 解决 了 这 一 问题 ,而 模糊 逻辑 为 参数 调整 提供 了 一 种 重要 工具 。 如 文献 
L24] 提 出 了 一 种 利用 模糊 控制 动态 优化 遗传 算法 参数 的 和 民 法 。 文 贾 L25] 使 用 模糊 多 答对 
遗传 算法 的 变异 率 和 交叉 率 进 行 基 于 聚 类 的 目 适 应 调整 。 
传统 模糊 系统 的 模糊 规则 和 隶属 度 困 数 往往 由 专家 提供 , 当 系 统 非常 复杂 时 ,难以 保 
证 这 些 规 则 和 隶属 度 图 数 是 充足 有 殖 且 低 谢 耗 的 。 利 用 群 鲁能 算法 可 以 对 模糊 规则 进 
行 生 成 .筛选 和 优化 。Chan 等 "所 提 出 了 一 种 使 用 稳 态 遗传 算法 产生 模糊 规则 的 方法 ,并 
应 用 于 雷达 目标 跟踪 问题 。Tang 等 则 使 用 一 种 分 层 遗 传 算法 选择 模糊 规则 库 的 最 优 
子 集 ,以 减少 模糊 系统 的 计算 消耗 。Leng 等 "中 设计 了 一 种 自 组 织 的 模糊 神经 网 络 , 并 利 
用 一 种 基于 遗传 算法 的 方法 调整 包括 模糊 规则 数 在 内 的 参数 。Liu 等 ' 思 设计 了 一 种 基于 
语气 修饰 和 遗传 算法 的 模糊 逻辑 控制 兹 ,用 以 化 简 隶 属 度 函 数 和 模糊 规则 。 
目前 ,模糊 逻辑 与 进化 计算 算法 结合 ,已 经 被 应 用 于 项 目地 点 分 配 问题 、 雷 达 目 标 
WR E [a] weld 252 等 许多 问题 中 。 


3.6 AF x B 


. 请 指出 模糊 逻辑 与 经 典 二 值 逻 辑 的 异同 。 

. 有 人 说 ,模糊 逻辑 就 是 不 确定 的 逻辑 ,这 种 说 法 有 问题 吗 ? 如 果 有 ,问题 在 哪里 ? 
. 例 3.2 中 , 若 A 一“ 比较 好 ”, 请 计算 结论 。 

. 复述 例 3. 3 的 解决 流程 。 

. 通过 查阅 相关 参考 文献 ,了 解 模糊 逻辑 在 各 个 领域 的 应 用 。 
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PATH A AA RI Te as FEC 
奇迹 。 在 目 然 进 化 这 个 麻木 棒 的 指挥 下 
地 球 上 的 生物 从 低级 走向 高 级 。 

优化 问题 求解 的 过 程 ， 能 否 价 用 卓 
PATER AL IK 32 BEAN RUE? 


答案 是 肯定 的 。 借鉴 目 然 进化 的 理念 ， 
问题 的 优化 过 程 可 以 看 成 类 似 于 生物 进化 
Hcl Fe TDR BA SREY EE. UE 
究 者 提出 了 一 种 和 解决 优化 问题 的 创造 性 方 
法 it fe LYE (Genetic Algorithm, GA) « 
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遗传 鼻 法 是 计算 和 色 能 领域 一 个 举足轻重 的 分 文 , 其 思想 源 于 生物 科学 的 进化 理论 和 
遗传 变异 理论 , 征 通 过 模仿 目 然 界 的 进化 活动 ,该 计 出 能 够 有 效 解决 优化 问题 的 系统 

本 章 将 介绍 遗传 拭 法 的 相关 知识 ,包括 壮 传 算法 的 基本 原理 \ 人 研究 进展 、 基 本 流程 知 
构 以 及 算法 的 改进 和 应 用 。 通 过 本 章 的 评 细 介绍 ,给 读者 展示 了 设计 和 使 用 遗传 算法 的 
基本 流程 和 基本 要 系 ,力求 使 恋 腹 对 壮 传 算法 有 一 个 初步 的 认识 和 理解 ,并 为 读 少 进一步 
本 解 遗 传 算法 提供 了 相关 的 参考 资料 。 本 章 的 主要 内 容 如 下 : 

© A TEE AT s 

© TE IL I UE ; 

* Pe IL IT) BUE ; 

© AFER EB. 


4.1 遗传 算法 简介 


411 基本 原理 


遗传 算法 (Genetic Algorithm,GA) 是 由 美国 密歇根 (Michigan) 大 学 心理 学 教授 、 电 
子 工程 党 和 计算 机 科学 教授 John H. Holland 首先 提出 的 一 种 随机 上 和 目 适 应 的 全 局 搜索 算 
JADI, FE 1962 年 ,Holland' 引 就 提出 了 关于 遗传 算法 的 基本 思想 。 之 后 ,相继 有 学 者 在 
相关 的 研究 成 果 中 提 到 了 遗传 算法 的 概念 9S 种, 例如 Holland 的 学 生 Bagley 于 1967 年 在 
他 的 博士 论文 站 中 第 一 次 采用 了 “遗传 算法 ”这 个 术语 。 但 遗传 算法 的 数学 框架 和 理论 基 
础 直到 20 世纪 70 年 代 初 期 才 形 成 "二 5 。Holland 于 1975 年 在 其 专著 《自然 系统 和 人 工 
系统 的 自 适 应 性 》(“Adaptation in Nature and Artificial Systems") p Xf 3x fip Sl ie 77 14; 
进行 了 系统 且 详 细 的 论述 。 

遗传 算法 吸收 了 生命 科学 与 工程 学 科 中 的 重要 理论 成 果 , 用 于 解决 复杂 优化 问题 。 
其 中 ,达尔 文 (Darwin) 的 进化 理论 和 以 也 德尔 (Mendel) 的 遗传 学 说 为 基础 的 现代 遗传 学 
对 算法 的 提出 具有 最 为 重要 的 影 啊 。 

地 球 生命 自 诞 生 以 来 ,就 处 于 漫长 而 深远 的 进化 历程 ,经 历 了 从 低级 到 高 级 、 从 单 
一 到 多 样 、 从 价 单 到 复 琳 、 从 缺陷 到 完善 的 发 展 过 程 。 达 尔 文 的 进化 论 提 出 日 然 界 “ 日 
然 选 择 ” 和 “优胜 劣 汰 ”的 进化 规律 。 图 4. 1 揭示 了 生物 的 进化 过 程 。 生 物 的 进化 过 程 
是 一 个 不 断 往复 的 循环 过 程 。 在 每 个 循环 中 ,由 于 目 然 环境 的 恶劣 、 换 源 的 短缺 和 天 
政 的 侵害 等 因素 ,个 体 必 须 接受 自然 的 选择 。 在 选择 过 程 中 ,一 部 分 对 自然 环境 具有 
较 高 适应 能 力 的 个 体 得 以 保存 下 来 形成 新 的 种 群 。 而 另 一 部 分 个 体 则 由 于 不 适应 自 
然 环 境 而 面临 被 淘汰 的 危险 。 经 过 选择 保存 下 来 的 群体 构成 种 群 ,种 群 中 的 生物 个 体 
进行 交配 繁衍 ,保证 了 种 群 的 发 展 。 交 配 产 生 的 子 代 继承 了 父 代 的 部 分 特性 ,而 且 一 
般 来 说 , 子 代 要 比 父 代 具有 更 强 的 环境 适应 能 力 。 进 化 过 程 伴随 着 种 群 的 变异 ,种 群 
中 部 分 个 体 发 生 基 因 变 异 , 成 为 新 的 个 体 。 这 样 ,经 过 选择 、 交 配 和 变异 后 的 种 群 取 代 
原来 的 群体 ,进入 下 一 个 进化 循环 。 


图 4.1 生物 进化 过 程 


以 也 德尔 的 遗传 学 说 为 基础 的 现代 遗传 学 提出 了 遗传 信息 的 重组 模式 。 在 生物 体 的 
遗传 过 程 中 ,染色 体 是 遗传 信息 一 一 基因 的 载体 ,基因 在 染色 体 上 按照 一 定 的 次 序 组 合 。 
父 代 交 配 产 生子 代 时 , 子 代 从 父 代 继承 的 遗传 基因 以 染色 体 的 形式 重新 组 合 , 子 代 的 性 状 
由 遗传 基因 决定 。 图 4.2 简单 描述 了 遗传 基因 重组 的 过 程 。 


父 代 染色 体 1 Y 3 F 父 代 染色 体 2 


N / 
: 
子 代 染 色 体 | n f. 子 代 染 色 体 2 


图 4.2 遗传 基因 重组 过 程 


来 源 于 生物 科学 的 这 两 个 重要 理论 ,为 Holland 寻求 有 效 方法 研究 人 工 自 适应 系统 
提供 了 宝 贯 的 思想 源 果 。 在 前 人 运用 计算 机 进行 生物 模拟 的 基础 上 ,Holland 发 现 了 日 
然 界 的 生物 遗传 进化 系统 同人 工 自 适 应 系统 的 相似 性 ,成 功 地 建立 了 遗传 算法 的 模型 ,并 
对 遗传 算法 搜索 的 有 效 性 进行 了 理论 证 明 ""” 。 图 4. 3 揭示 了 遗传 算法 的 思想 来 源 及 建 
IFE, 
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索 。 算 法 维护 一 个 代表 问题 潜在 解 的 群体 ,对 于 群体 的 进化 ,算法 引 和 人 了 类 似 自 然 进 化 中 
X TE .交配 以 及 变 开 等 算 子 。 址 传 算 法 搜索 全 局 最 优 解 的 过 程 是 一 个 不 断 迭 代 的 过 程 (每 
一 次 迭代 相当 于 生物 进化 中 的 一 次 循环 ) ,直到 满足 算法 的 终止 条 件 为 止 。 

在 址 传 算法 中 ,问题 的 每 个 有 歼 解 被 称 为 一 个 “染色体 (chromosome)” ,在 有 些 书籍 
中 也 称 为 “ 串 ”, 相 对 于 群体 中 的 每 个 生物 个 体 (individual) 。 染 色 体 的 具体 形式 是 一 个 使 
用 特定 编码 方式 生成 的 编码 串 。 编 码 串 中 的 每 一 个 编码 单元 称 为 "基因 (gene)”。 
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1962 年 Holland 提 出 遗传 算法 的 基本 思想 


1967 年 Holland 的 学 生 Bagley 第 一 次 


(pr 
人 使 用 “中 传 算法 ”一 词 
[ 生物 模拟 授 术 20 世 纪 70 年 代 初 ， Holland 提 出 著名 的 模 


式 定 理 , 建 立 了 站 传 算法 的 理论 基础 


1975 年 Holland AREE (CARRS AT 


达尔 文 进化 论 


系统 的 目 适应 性 》， 系 统 地 论述 了 簿 传 算法 


图 4.3 遗传 算法 思想 来 源 及 建立 过 程 


遗传 算法 通过 比较 适应 值 (fitness value) 区 分 染色 体 的 优 劣 ,适应 值 越 大 的 染色 体 越 
A, FEE BB evaluation function) 用 来 计算 并 确定 染色 体 对 应 的 适应 值 。 

选择 算 子 (selection) 按 照 一 定 的 规则 对 群体 的 染色 体 进 行 选 择 , 得 到 父 代 种 群 。 一 
般 地 , 越 优秀 的 染色 体 被 选中 的 次 数 越 多 。 

交配 算 子 (crossover) 作 用 于 每 两 个 成 功 交 配 的 染色 体 , 染 色 体 交换 各 自 的 部 分 基 
因 , 产 生 两 个 子 代 染 色 体 。 子 代 染 色 体 取代 父 代 染色 体 进入 新 种 群 , 而 没有 交配 的 染色 体 
则 下 接 进 入 新 种 群 。 

变异 算 子 (mutation) 使 新 种 群 进 行 小 概率 的 变异 。 染 色 体 发 生变 异 的 基因 改变 数 
值 ,得 到 新 的 染色 体 。 经 过 变异 的 新 种 群 蔡 代 原 有 群体 进入 下 一 次 进化 。 


表 4.1 给 出 了 从 生物 遗传 进化 到 遗传 算法 各 个 基本 概念 的 对 照 。 
表 4.1 生物 遗传 进化 的 基本 生物 要 素 和 遗传 算法 的 基本 要 素 定 义 对 照 表 
生物 遗传 进化 遗传 算法 
群体 问题 搜索 空间 的 一 组 有 效 解 (表现 为 群体 规模 ND 
种 群 经 过 选择 产生 的 新 群体 (规模 同样 为 N) 
染色 体 问题 有 效 解 的 编码 串 
基因 染色 体 的 一 个 编码 单元 
适应 能 力 染色 体 的 适应 值 
交配 两 个 染色 体 交 换 部 分 基因 得 到 两 个 新 的 子 代 染色 体 
变异 染色 体 某 些 基因 的 数值 发 生 改 变 
进化 结束 算法 满足 终止 条 件 时 结束 ,输出 全 局 最 优 解 


对 于 遗传 算法 的 基本 原理 ,Holland 给 出 了 和 著名 的 模式 定理 (Schema Theory), A ist 
传 算法 提供 了 理论 支持 。 

模式 (schema) 是 指 群 体 中 编码 的 某 些 位 置 具 有 相似 结构 的 染色 体 集 合 。 假 设 染 色 
体 的 编码 是 由 0 或 1 组 成 的 二 进 制 符 号 序列 ,模式 01xxx0 则 表示 以 01 开头 且 以 0 结尾 
的 编码 串 对 应 的 染色 体 的 集合 , 即 {010000,010010,010100,010110,011000,011010， 
011100,011110}。 模 式 中 具有 确定 取 值 的 基因 个 数 叫 做 模式 的 阶 (schema order) ,如 模 
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式 01#xx0 ANBTA 3. IAEN KE (schema defining length) #49 Bii 3X CP 28 — 7] ALA 8f 
定 取 值 的 基因 到 最 后 一 个 具有 确定 取 值 的 基因 的 距离 ,例如 模式 01x*xx0 的 定义 长 度 为 
5, 而 1xxxx 的 定义 长 度 为 0。 

Holland 的 模式 定理 提出 ,遗传 算法 的 实质 是 通过 选择 .交配 和 变异 鼻子 对 模式 进行 
搜索 , 低 阶 .定义 长 度 较 小 且 平 均 适 应 值 高 于 群体 平均 适应 值 的 模式 在 群体 中 的 比例 将 呈 
指数 级 增长 , 即 随 着 进化 的 不 断 进 行 , 较 优 染色 体 的 个 数 将 快速 增加 。 

模式 定理 证 明了 遗传 算法 寻求 全 局 最 优 解 的 可 能 性 ,但 不 能 保证 算法 一 定 能 找到 全 
kamiti., Goldberg E 1989 年 提出 了 积木 块 假设 (Building Block Hypothesis) . X} $% 
式 定 理 做 了 补充 ,说 明 遗 传 算法 具有 了 能够 找到 全 局 最 优 解 的 能 力 。 

积木 块 (building block) 是 指 低 阶 ,定义 长 度 较 小 且 平 均 适 应 值 高 于 群体 平均 适应 值 
的 模式 。 积 木 块 假设 认为 在 遗传 拭 法 运行 过 程 中 ,积木 块 在 遗传 算 子 的 影 啊 下 能 够 相互 
结合 ,产生 新 的 更 加 优秀 的 积木 块 , 最 终 接近 全 局 最 优 解 。 

目前 的 人 研究 还 不 能 够 对 积木 块 假设 是 否 成 立 给 出 一 个 严整 的 论断 和 证 明 , 但 是 大 量 
的 实验 和 应 用 为 积木 块 假设 提供 了 了 文 持 。 
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遗传 算法 的 提出 为 解决 复杂 优化 问题 提供 了 一 个 靳 新 而 有 效 的 思路 ,其 展 好 的 
搜索 能 力 和 较 强 的 健壮 性 受到 人 研究 学 者 的 广泛 认同 。 自 遗传 算法 提出 以 来 , 越 来 越 
多 的 学 者 投入 到 遗传 算法 的 俩 究 行 列 。 与 此 同时 ,遗传 算法 被 成 功 地 应 用 于 各 种 不 
同 的 领域 ,为 解决 复杂 的 专门 领域 问题 提供 了 有 效 的 方法 2 。 这 些 均 促进 了 遗传 
算法 的 发 展 ,不 断 扩大 其 影响 力 。 图 4.4 给 出 了 对 遗传 算法 的 人 研究 内 容 和 人 研究 方 回 
的 总 结 。 

随 独 越 来 越 多 人 研究 学 者 的 参与 以 及 大 量 人 妍 究 成 有 果 的 产生 ,遗传 算法 的 理论 研究 正 以 
较 快 的 步伐 回 前 迈进 。 可 以 说 ,20 世纪 80 年 代 以 来 是 遗传 算法 快速 发 展 的 上 升 期 。 在 
此 期 间 , 有 关 遗 传 算法 的 学 术 活 动 日 益 芝 动 。 每 年 以 遗传 算法 为 主题 或 与 其 相关 的 众多 
国际 会 议 在 世界 各 地 定期 召开 ,并 受到 越 来 越 广 沁 的 关注 。 其 中 比较 知名 的 国际 会 议 有 : 
日 1985 年 开始 每 两 年 召开 一 届 的 美国 密歇根 大 学 国际 遗传 算法 会 议 (International 
Conference on Genetic Algorithms. ICGA) , j& f£ dt [E iT B&W CACM Genetic and 
Evolutionary Computation Conference, GECCO) , 进化 计算 会 以 (IEEE International 
Conference on Evolutionary Computations, IEEE CEC) , ia f£ RK TBARS 
(Workshop on Foundations of Genetic Algorithms and Classifier Systems. FOGA/CS), 
遗传 程序 设计 会 议 (Genetic Programming Conference. GPC) .国际 人 工 生 命 学 术 讨 论 会 
(International Workshop on Artificial Life), 进化 规划 年 会 (Annual Conference on 
Evolutionary Programming) , H bs i£ 45 $$ 14 Bil ir 5€ A 1] i6 & CInternational Workshop on 
Frontiers in Evolutionary Algorithms, FEA) E PR A iE M íy X T M S N (International 
Conference on Simulation of Adaptive Behavior) 、 借 助 自 然 的 并 行 问 题 求解 国际 会 议 


(International Conference on Parallel Problem Solving from Nature. PPSN), 
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算法 的 性 能 研究 包括 对 壮 传 算法 的 性 能 分 


怕 和 改进 。 研 究 算 法 主要 控制 参数 (如 群 希望 通过 理论 研究 和 实 
算法 性 能 研究 O 体 规 模 、 交 配 概率 、 变 异 概 率 ) 、 染 色 体 CO 验 分 析 ,提高 算法 的 求 


编码 方式 以 及 各 类 算 子 操作 , 寻求 更 好 的 VETERE 
改进 方法 ， 提 高 算法 的 搜索 性 能 


研究 如 何 将 遗传 算法 和 其 他 优化 搜索 算法 如 希 译 通 过 研究 混合 
混合 算法 研究 (> EUNE. AWA. 模拟 退火 算法 等 结合 ， 改 法 ,提高 算法 的 搜索 
善 遗 传 算法 的 性 能 性 能 


随 着 大 规模 并 行 计算 机 的 问世 ,并行 计 算 成 | Gore n 
为 现代 计算 机 科学 的 重大 发 展 方向 。 省 传 算 | | Reet eae 
法 自身 具备 的 并 行 性 适应 这 种 发 展 趋势 * 通 “上 care muore 
过 研究 实现 址 传 算法 的 并 行 计算 , 可 以 有 效 | keep 0s 
地 提高 算法 的 运行 效率 on 


并 行 算 法 研究 [2 


遗传 算法 最 初 是 用 于 设计 人 工 自 适应 系统 的 。 

白 提 出 以 来 ， 算 法 的 应 用 范围 被 快速 地 拓宽 。 

目前 对 遗传 算法 应 用 的 研究 是 一 个 热门 的 研 

究 领 域 。 各 种 研究 相继 出 现 。 | fü SRL. ANTE 
1) 算法 应 用 于 函数 优化 、 组合 优 化 问题 的 展 薄 传 异 法 应 用 于 各 种 
i 不 同 领 域 的 有 效 性 和 通 
(2) 算 法 应 用 于 机 器 学 习 的 分 类 系统 和 神经 网 用 性 

络 的 研究 : 


G3) 算 法 应 用 于 图 像 处 理 和 模式 识别 的 研究 ， 


图 4.4 遗传 算法 的 研究 内 容 和 研究 方向 的 总 结 


同时 ,有 关 遗 传 算法 研究 和 应 用 的 学 术 文 章 也 日 益 受 到 一 些 国 际 性 期 刊 的 关注 ,在 这 
些 期 刊 和 国际 会 议论 文集 中 越 来 越 多 地 出 现 遗 传 算法 的 相关 文章 nto。 国 际 期 刊 
(Evolutionary Computation》 和 《IEEE Transactions on Evolutionary Computation) [f] vit 


生 也 宣示 看 人 们 对 遗传 算法 的 重视 和 广泛 关注 。 


4.2 ”遗传 算法 的 流程 

4.2.1 流程 结构 

本 方 详细 介绍 遗传 算法 的 基本 流程 ,通过 算法 的 流程 结构 ,我 们 可 以 对 遗传 算法 的 运 
行 机 制 有 一 个 清晰 的 认识 。 

踪 传 算法 的 实现 主要 包含 了 以 下 七 个 重要 问题 : 

。 染色 体 的 编码 ; 

。 群体 的 初始 化 ; 

。 适应 值 评价 ; 


。 选择 种 和 群 ; 
* BEC BC 
。 BNE AEF s 
。 算法 流程 。 
这 几 个 问题 尤其 是 选择 算 子 .交配 算 子 和 变异 算 子 的 具体 实现 与 算法 搜索 全 局 最 
n I XLI ES EAR SE. ZED BAR I] CE REUS. . EA E JL 77 di np Be res eH s IR] 38 ITJ RF 
Iri DUO A AB Td ES Zr 3 SE. LL eg a Pe AI MEE. Jyis $E T fei FE EK iT 
ciini 目的 ,在 本 下 接 下 来 的 内 容 中 ,我 们 暂 不 对 每 个 算 子 目前 可 用 的 方法 一 
一 作 完 整 且 详细 的 介绍 ,而 是 对 遗传 算法 实现 的 每 个 关键 步骤 给 出 一 个 或 几 个 第 用 的 
1. 染色 体 编码 
应 用 遗传 算法 ,需要 解决 问题 解 的 表示 , 即 染色 体 的 编码 方式 。 染 色 体 编码 方式 确定 
是 否 得 当 会 对 接 下 来 染色 体 的 交配 和 变异 操作 构成 影响 。 因 此 ,在 解决 一 个 特定 的 问题 
时 ,我 们 希望 找到 一 种 既 便 单 又 不 影响 算法 性 能 的 编码 方式 。 目 前 关于 这 部 分 的 理论 全 
究 和 应 用 探索 尚未 给 出 一 种 完整 且 有 效 . 放 之 四 海 而 皆 准 的 遗传 算法 编码 理论 和 方案 。 
虽然 De Jong 曾经 在 他 的 研究 成 果 " 中 给 出 关于 确定 遗传 算法 染色 体 编 码 方式 的 两 条 指 
导 原 则 一 一 有 意义 积木 块 编 但 原则 和 最 小 字符 集 编 码 原 则 ,倡导 算法 使 用 的 编码 方案 应 
龟 于 产生 低 阶 且 定 义 长 度 较 短 的 模式 ,在 能 够 目 然 换 述 所 求 问 题 的 本 提 下 使 用 最 小 编码 
字符 集 , 但 是 在 具体 的 应 用 过 程 中 ,该 指导 原则 依然 无 法 完全 适用 于 全 部 问题 。 在 使 用 遗 
————— 采用 何 种 编码 方案 并 不 是 一 概 而 论 的 ,而 应 该 尽量 分 析 问 题 
的 特点 ,制定 可 行 的 编码 方案 ,同时 也 可 借鉴 运用 遗传 算法 已 成 功 求解 的 类 似 问 题 的 编码 
先例 。 
目前 用 于 染色 体 编 码 的 方法 有 格雷 码 编 码 .字母 编码 、 多 参数 交叉 编码 等 。 在 这 里 
我 们 仪 给 出 两 种 第 用 的 较 人 简单 的 编码 方法 : 二 进 制 编码 方法 (Binary Representation) 和 
浮 点 数 编码 方法 (Float Point Representation) 7, 
二 进 制 编码 方法 产生 的 染色 体 是 一 Ax 4.2 染色 体 的 二 进 制 编码 方法 
个 二 进 制 符 号 序列 ,染色 体 的 每 一 个 基 二 进 制 符号 串 对 应 的 实际 取 值 
因 只 能 取 值 0 或 1。 假定 问题 定义 的 有 0000-0000 
效 解 取 值 空间 为 [LU s Umax P. HEARD 1111…1111 
为 有 效 解 的 变量 维 数 ,使 用 工 位 二 进 制 
符号 串 表 示人 解 的 一 维 变量 , 则 我 们 可 以 
得 到 如 表 4. 2 所 示 的 编码 方式 : 
一 个 简单 的 例子 ,假设 [Us Uma | 为 [1，64]], 采 用 6 位 二 进 制 符号 串 进 行 编码 , 则 
A mf FB 010101 代表 了 数值 22。 


因此 采用 工 位 进行 编码 时 的 精度 为 ~ 和 一 mm, 可见 该 种 方法 在 编码 的 精度 方面 是 


BE Fe HY pg 必须 通过 增加 工 来 达到 要 
求 。 可 是 当 工 变 得 很 大 时 ,将 急剧 增加 算法 操作 的 复杂 度 。 所 以 二 进 制 编码 方法 虽然 


(U max — Usi ox 
XLXL pr Xe X4 
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符合 De Jong 提出 的 两 个 指导 原则 , 且 经 常 被 使 用 ,但 是 在 解决 某 些 精度 要 求 较 高 或 解 
含有 较 多 变量 的 优化 问题 时 ,人 们 却 不 得 不 寻求 另外 一 种 更 好 的 编码 方法 ,如 浮 点 数 
am. 
浮 点 数 编 码 方 法 中 ,染色 体 的 长 度 等 于 问题 定义 的 解 的 变量 个 数 , 染 色 体 的 每 一 个 基 
因 等 于 解 的 每 一 维 变量 。 例 如 , 待 求解 问 题 的 一 个 有 效 解 为 X; Glar axP aP), 
— 量 维 数 。 则 该 解 对 应 的 染色 体 编 码 为 (站 exitio sa?) 


浮 点 数 编 码 方法 适合 于 表示 取 值 范围 比较 大 的 数值 ,对 降低 采用 遗传 算法 对 染色 体 
进行 处 理 的 复 淋 性 起 到 了 很 好 的 作用 
2. 群体 的 初始 化 


遗传 算法 在 一 个 给 定 的 初始 进化 群体 中 进行 迭代 搜索 。 一 般 情况 下 ,遗传 算法 在 群 
体 初 始 化 阶段 采用 的 是 随机 数 初始 方法 。 采 用 生成 随机 数 的 方法 ,对 染色 体 的 每 一 维 变 
量 进 行 初始 化 赋值 。 初 始 化 染色 体 时 必须 注意 染色 体 是 否 满 足 优化 问题 对 有 效 解 的 
"M dm 

如 果 在 进化 开始 时 保证 初始 群体 已 经 是 一 定 程 度 上 的 优良 群体 的 话 , 将 能 够 有 效 提 
高 算法 找到 全 局 最 优 解 的 能 力 。 这 就 好 比 一 个 优 恨 的 物种 在 自然 进化 过 程 中 ,第 第 占据 
有 利 的 位 置 , 且 保持 较 快 较 好 的 进化 程度 。 到 目前 为 止 ,已 有 部 分 学 者 尝试 在 保证 搜索 空 
间 完 备 性 的 基础 上 ,通过 某 种 方法 在 算法 的 开始 得 到 一 个 平均 适应 值 相 对 较 高 的 初始 群 
体 再 进行 进化 来 提高 算法 的 求解 性 能 ,并 取得 了 一 定 的 成 效 。 

3. 适应 值 评 价 

评估 函数 用 于 评估 各 个 染色 体 的 适应 值 ,进而 区 分 优 劣 。 评 佑 函数 常常 根据 问题 的 
优化 目标 来 确定 ,例如 在 求解 也 数 优化 问题 时 ,问题 定义 的 目标 陋 数 可 以 作为 评估 也 数 的 
原型 。 在 遗传 算法 中 ,规定 适应 值 越 大 的 染色 体 越 优 。 因 此 对 于 一 些 求解 最 大 值 的 数值 
优化 问题 ,我们 可 以 直接 套用 问题 定义 的 函数 表达 式 。 但 是 对 于 其 他 优化 问题 ,问题 定义 
的 目标 孔 数 表达 式 必 须 经 过 一 定 的 变换 。 例 如 ,应 用 遗传 算法 求解 某 个 隐 数 的 最 小 值 , 可 
对 问题 定义 的 目标 隆 数 f(X) 进 行 以 下 变换 ,得 到 算法 的 评估 清 数 Eval CC) : 

Eval (C) =— f(X) 
其 中 X 表示 一 个 有 效 解 ,C 表示 X 对 应 的 染色 体 。 


4. 选择 算 子 

种 群 的 选择 操作 使 用 轮 盘 赌 选择 算法 [sn 
(roulette wheel selection) 。 轮 盘 峭 选择 算法 是 址 
传 算 法 最 经 常 使 用 的 选择 算法 ,其 基本 四 aua "e, 
于 概率 的 随机 选择 "| 。 

轮 盘 财 选 择 算法 首先 根据 群体 中 每 个 染色 体 ee | 


的 适应 值得 到 群体 所 有 染色 体 的 适应 值 总 和 ,并 

ideal gt p bee 

E 忆 ,; 其 次 假设 一 个 具有 NAAKKA., 

局 区 对 应 群体 中 的 一 个 染色 体 ， yp gid 

应 染色 体 的 P; 值 成 正比 关系 。 图 4.5 给 出 了 具 图 4.5 具有 4 个 扇 区 的 轮 盘 赌 模型 


有 4 个 恒 区 的 轮 盘 赌 模型 。 

每 选择 转动 一 次 轮 盘 , 轮 盘 转动 停止 时 指针 停留 的 鹿 区 对 应 的 染色 体 即 被 选中 进入 
种 群 。 依 次 进行 N 次 选择 即 可 得 到 规模 同样 为 N 的 种 群 。 图 4. 6 是 用 来 模拟 轮 盘 一 次 
转动 的 程序 伪 代 码 ， 


/ * once of roulette wheel selection 
* 输出 参数 : 
* 选中 的 染色 体 
关 / 
procedure RWS 
m*— 0; 
r— Random (0,1) ; //0 至 1 的 随机 数 
for i-1 to N 


im me £r 


return i; 
end if 
end for 
end procedure 


1 
2 
3 
- 
5 if r<=m 
6 
7 
8 


图 4.6 模拟 轮 盘 转动 的 程序 伪 代 码 


从 轮 盘 赌 选择 的 机 制 中 可 以 看 到 , 较 优 染 色 体 的 PP 值 较 大 ,被 选择 的 概率 就 相对 较 
大 。 但 由 于 选择 过 程 具有 随机 性 ,并 不 能 保证 每 次 选择 均 选 中 这 些 较 优 的 染色 体 ,因此 也 
给 予 了 较 差 染色 体 一 定 的 生存 空间 。 

5. RAAF 

在 染色 体 交配 阶段, 每 个 染色 体能 否 进行 交配 由 交配 概率 P.( 一 般 取 值 为 0.4~0. 99 
之 间 ) 决 定 , 其 具体 过 程 为 : 对 于 每 个 染色 体 , 如 果 Random(0, DT P. 则 表示 该 染色 


1] 间 均匀 分 布 的 随机 数 产生 器 ,否则 染色 体 不 参 父 代 染 色 体 1 — xxx pua Xa Xs 
E RA hé 重生 D^ : E 
与 交配 直接 复制 到 新 种 群 中 o Ape Ea fA 2 Hf 2 TT nga Ki = Y, 


每 两 个 按照 P. 交配 概率 选择 出 来 的 染色 体 
进行 交配 ,经 过 交换 各 自 的 部 分 基因 ,产生 两 个 
新 的 子 代 染色 体 。 其 具体 操作 是 随机 产生 一 个 ”六 代 染色 体 1 Sx x na a v 
有 效 的 交配 位 置 , 染 色 体 交换 位 于 该 交配 位 置 后 T euet fk 2 Y, Ya My pee Apis X 
的 所 有 基因 。 图 4. 7 是 染色 体 交 配 示意 图 。 图 4.7 染色 体 交 配 示意 图 

交配 操作 应 该 注意 产生 的 子 代 染色 体 应 满 
足 问 题 对 有 效 解 的 定义 。 从 以 上 介绍 可 以 看 出 ,参与 交配 的 父 代 染色 体 个 数 与 产生 的 子 
代 染 色 体 个 数 一 样 ,因此 新 种 群 的 规模 依然 为 N. 


3E RC 


02 
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6. 变异 算 子 

染色 体 的 变异 作用 于 基因 之 上 ,对 于 交配 后 新 种 群 中 染色 体 的 每 一 位 基因 ,根据 变异 
概率 P. 判断 该 基因 是 否 进 行 变异 。 如 有 果 Random(0, D^] T P, ; 则 改变 该 基因 的 取 人 I， 
其 中 Random(0, 1) 为 L0, 1] 则 均匀 分 布 的 随机 数 产 生 各 ;否则 该 基因 不 发 生变 寞 ,保持 
不 变 。 图 4. 8 是 采用 二 进 制 编码 方式 的 染色 体 变 异 过 程 示 意图 ,其 中 黑色 箭头 所 指 位 置 
的 基因 发 生变 异 。 对 于 采用 浮 点 数 编码 形式 的 染色 体 看 某 基 因 发 生变 异 , 则 可 使 用 前 面 
初始 群体 化 时 采用 的 随机 数 方法 随机 产生 一 个 满足 问题 定义 的 数值 取代 该 基因 现 有 
{EL 


变异 


图 4.8 染色 体 变 异 过 程 示意 图 


为 了 保持 遗传 算法 较 好 的 运行 性 能 ,变异 概率 P, 应 该 设置 在 一 个 合适 的 范围 。 
异 操作 通过 改变 原 有 染色 体 的 基因 ,在 提高 群体 多 样 性 方面 具有 明显 er P. 
过 小 ,算法 容易 早熟 。 但 是 在 算法 运行 的 过 程 中 ,已 找到 的 较 优 解 可 能 在 变异 过 程 中 遭 到 
破坏 ,如果 P, 的 值 过 大 ,可 能 会 导致 算法 目前 所 处 的 较 好 的 搜索 状态 倒退 回 原 来 较 差 的 
情况 。 因 此 ,我 们 应 该 将 种 群 的 变异 限制 在 一 定 范 围 内 。 一 般 地 ,P, 可 设 定 在 0.001 一 
0.1 之 间 。 

7. 算法 流程 

以 上 对 遗传 算法 各 个 重要 步骤 进行 了 详细 的 介绍 , 接 下 来 我 们 给 出 遗传 算法 的 基本 
步骤 : 

Step 1 初始 化 规模 为 N 的 群体 ,其 中 染色 体 每 个 基因 的 值 采 用 随机 数 产 生 器 生成 
并 满足 问题 定义 的 范围 。 当 前 进化 代数 Generation —0, 

Step 2 采用 评估 洱 数 对 群体 中 所 有 染色 体 进 行 评价 ,分 别 计算 每 个 染色 体 的 适应 
值 ,保存 适应 值 最 大 的 染色 体 Best 

Step 3 采用 轮 盘 赌 选择 算法 对 群体 的 染色 体 进 行 选择 操作 ,产生 规模 同样 为 NN 的 
种 群 。 

Step 4 按照 概率 P. 从 种 群 中 选择 染色 体 进 行 交 配 。 每 两 个 进行 交配 的 父 代 染色 
体 , 交 换 部 分 基因 ,产生 两 个 新 的 子 代 染色 体 , 子 代 染 色 体 取代 父 代 染色 体 进入 新 种 群 。 
没有 进行 交配 的 染色 体 直 接 复 制 进入 新 种 群 。 

Step 5 按照 概率 P, 对 新 种 群 中 染色 体 的 基因 进行 变异 操作 。 发 生变 异 的 基因 数 
值 发 生 改 变 。 变 异 后 的 染色 体 取 代 原 有 染色 体 进入 新 群体 ,未 发 生变 异 的 染色 体 直接 进 
入 新 群体 。 
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Step 6 变异 后 的 新 群体 取代 原 有 群体 ,重新 计算 群体 中 各 个 染色 体 的 适应 值 。 倘 
在 群体 的 最 大 适应 值 大 于 Best 的 适应 值 , 则 以 该 最 大 适应 值 对 应 的 染色 体 蔡 代 Best. 

Step 7 当前 进化 代数 Generation 加 1, WR Generation 超过 规定 的 最 大 进化 代数 
或 Best 达到 规定 的 误差 要 求 , 算 法 知 束 ; 否 则 返回 Step 3。 

图 4. 9 给 出 了 遗传 算法 的 流程 图 和 程序 伪 代 码 。 


/* 


P(t) 表 示 某 一 代 的 群体 ,t 为 当前 进化 代数 


初始 化 群体 Best 表示 目前 已 找到 的 最 优 解 
关 1 


Procedure GA 

begin 
bp 5; 
initialize(P(t)); // 初 始 化 群体 
evaluate (P(t)); // 适 应 值 评 价 
keep best(P(t)); // 保 存 最 优 染 色 体 
while (不 满足 终止 条 件 ) do 
begin 


适应 值 评 价 ， 人 和 存 最 优 染 色 体 


P(t)*-selection(P(t)); // 选 择 算 子 
P(t)<-crossover (P(t)); // 交 配 算 子 
P (t)*-mutation(P(t)); // 变 异 算 子 
让 于 一 二 二 二 > 


PIE- P{t- 1); 
evaluate (P(t)); 
if (P(t) 的 最 优 适 应 值 大 于 Best 的 适应 值 ) 
// 以 P(t) 的 最 优 染 色 体 替代 Best 
- 满足 终止 条 件 replace (Best); 

= end if 

LE. 

end 


aa 
-H 


图 4.9 遗传 算法 流程 图 和 程序 伪 代 码 


重新 评价 适应 值 ， 更 新 最 优 染 色 体 


4.2.2 æ AŽ y] 
下 面 通 过 一 个 简单 的 函数 优化 的 例子 ,说 明 遗 传 算法 的 执行 过 程 。 
例 4.1 E XI PRAE y fa 2 pda dE E. eR pp eed DELI, X2 s Ez’ 


zis5, 用 遗传 算法 求解 y 的 最 大 值 ,请 写 出 关键 的 执行 步骤 。 
fj. 使 用 遗传 算法 求解 例 4. 1 的 执行 步骤 如 图 4. 10 Bron, 


XY: 初始 化 
假设 群体 规模 为 5 ， 
EEC 0, x4, x. x,) 的 形式 表示 à 
初始 化 群体 的 闪 色 体 ， 得 到 
LI 一 (一 2.13351.2.0917, -0.1327, —4.1006) 
C;-(1.0152, —3.9811, —2.6638, 3.7535) 
C,—(4.0589, 2.1904, —0.1503, 0.0023) 
C,-(—3.4098, -3.0714, —0.9008, —4.3712) 
C.=(0.2073, 2.9932, —4.0802, 1.8794) 


步骤 2 : 适应 值 评价 
CIFTE (rh RL 


Evak C YF y = f x), X4, x4, 34) 


Rit og ky toe tl 


计算 每 个 染色 体 的 适应 值 如 下 : 


Evak C) =f (—2.1351, 2.0917, —0.1327, —4.1006) = 0.0373603 
0.0255988 


Evak(C;) — f (1.0152, -3.9811, -2.6638, 3.7535) = 
Eval(C,) = f (4.0589, 2.1904, —0.1503, 0.0023) = 0.0448529 


Eval(C,) = f (-3.4098, 3.0714, —0.9008, 4.3712) = 0.0238214 


Eval(C,) = f (0.2073, 2.9932, 4.0802, 1.8794) = 0.0331319 
因此 Best=C,, Eval Best) = 0.0448529 
ee 


SUDO AW HERE 算法 ,计算 群体 适应 值 总 和 为 0.0373603+ 
0.0255988+0,0448529+0,0238214+0.0331319=0,164765 
5r allt Re 388 Be AY Be He RS (E TI EE: : 
. 226749 
. 155365 
272223 
_ 144578 
Cs. 0. 201085 
下 面 是 5 次 选择 产生 的 [0 ;1 的 随机 数 和 选中 的 染色 体 
(1) 0.278756 
(2) 0.604389 
(3) 0.220964 C, 
(4) 0.376263 C, 
(5) 0.858791 € 
因此 得 到 种 群 为 : 
C}=(1.0152, -3.9811, —2.6638, 3.7535) 
C4 (4.0589, 2.1904, 0.1503, 0.0023) 
C1— (1.0152, —3.9811, 2.6638, 3.7535) 
C4 (1.0152, 3.9811, 2.6638, 3.7535) 
Cs= (0.2073, 2.9932, —4.0802, 1.8794) 


步骤 7 : 判断 结束 
如 果 满 足 算 法 终止 条 件 ， 则 输出 找到 的 最 优 和 解 Best 
并 退出 程序 ; 否则 返回 步骤 3 继续 执行 。 


使 用 浮 点 数 编码 方式 构造 染色 体 ， 即 每 个 染 


步骤 4 : 交配 
假设 交配 概率 为 0.88 。 下面 是 对 每 个 染色 体 生 成 的 [0,1] 的 随 
PLR, 扇 定 妇 色 体 是 否 参加 交配 。 
CT 0.341044<0.88 参加 交配 
Cj 0.6137971<0.88 参加 交配 
C; 0.963042>0.88 不 参加 交配 
Cy 0.347545<0.88 参加 交配 
C; 0,593677«0.88 参加 交配 
BNC) 8IC;- Cy 和 Cs 进行 交配 , 每 对 染色 体 交 配 时 随机 生成 
0-3 之 间 的 上 自然数 作 为 交配 位 。 以 下 是 各 对 染色 传 的 变 配 位 
和 得 到 的 子 代 当 色 体 - 
(1) Ci = (1.0052, -3.981 1,—2.6638, 3.7535) 
AIC; = (4.0589, 2.1904, -0.1 503, 0.0023) 
Az Br (79 FREE : 
C, —(1.0152, 3,9811, —0.1503, 0.0023) 
= (4.0589, 2.1904 , 22.6638, 3.7535) 
C; — (1.0152, —3.9811, —2.6638, 3.7535) 
#1 Cz = (0.2073, 2.9932, —4.0802, 1.8794) 
P EE 子 代 染色 体 为 : 
'" (1.0152, —3.9811, —2.6638, 1.8794) 
c^ '— (0.2073, 2.9932, —4.0802, 3.7535) 
故 变 配 后 的 新 种 群 为 : 
C/"= (1.0152, —3.9811, Xe 0.0023) 
C; — (4.0589, 2.1904, —2.6638, 3.7535) 
C= (1. 0152, —3.9811, —2.6638, 3.7535) 
C, — (1.0152, —3.9811, —2.6638, 1.8794) 


C, — (0.2073, 2.9932, 4.0802, 3.7535) 
PL, 


步 又 5 : 变异 

假设 变异 概率 为 0.1 。 对 于 每 个 染色 体 的 每 个 基因 随机 生成 
[0.1] 的 随机 数 E REED LU] T: 0.1, 则 改变 基因 的 值 . 否则 不 
改变 基因 的 值 。 以 下 是 发 生变 异 的 染色 体 和 基因 改变 的 过 程 。 


Cy" = (1.0152,—3.9811, —2.6638, 3.7535)— 
C; = (3.0953, —3.9811, 

Cj" — (1.0152, —3.9811, —2.6638, 1.8794)— 
C/"= (1.0152, 0.0153, —2.6638, 1.8794) 


—2.6638, 3.7535) 


战 得 到 的 新 群体 为 : 
C/"= (1.0152,—3.9811,—0.1503, 0.0023) 
Cy" = (4.0589, 2.1904, —2.6638, 3.7535) 
C;"— (3.0953, —3.9811,—2.6638, 3.7535) 
C/"= (1.0152, 0.0153, —2.6638, 1.8794) 
C." — (0.2073, 2.9932, 4.0802, 3.7535) 


JR 6 :重新 评价 染色 体 适应 值 ， 更 新 Best V. 
计算 每 个 染色体 的 适应 值 如 下 : 
Eval(C"") = f (1.0152, —3.9811, -0.1503, 0.0023) = 0.0558585 
Eval( CJ") = f (4.0589, 2.1904, —2.6638, 3.7535) = 0.0230112 
Eval(C;") = f (3.0953, 3.9811, 2.6638, 3.7535) = 0.0210019 
Eval(C/") = f (1.0152, 0.0153, —2.6638, 1.8794) = 0.0789962 
Eval( C1") = f (0.2073, 2.9932, —4.0802, 3.7535) = 0.0245465 
因为 Max(0.0558585, 0.0230112, 0.0210019, 0.0789962, 0.0245465)- 
0.0789962-Eval( Best) , WEFT Best : 
Best = Cj". Eval(Best) = 0.0780962 。 


图 4. 10 使 用 遗传 算法 求解 例 4. 1 的 步 又 图 示 


4.3. 适 传 算法 的 改进 


遗传 算法 简单 ,可 操作 性 强 , 具 有 较 强 的 健壮 性 和 普 适 性 以 及 潜在 的 并 行 性 ,并 且 拥 
有 较 好 的 全 局 搜索 能 力 ,能 够 以 较 大 的 概率 得 到 全 局 最 优 解 ,因此 多 个 领域 的 复杂 问题 相 
继 采 用 了 遗传 算法 进行 解决 ,进而 促进 了 遗传 算法 理论 人 研究 的 不 断 发 展 。 遗 传 拭 法 从 提 
出 到 现在 不 过 几 十 年 的 时 间 , 成 功 的 应 用 案例 展示 了 其 作为 一 种 随机 全 局 搜索 算法 的 强 
大 优势 和 能 力 , 同 时 ,在 应 用 中 出 现 的 问题 也 暴露 了 现 有 遗传 算法 的 局 限 和 不 足 :2124 。 
因此 ,大量 的 对 算法 进行 改进 的 研究 活动 从 未 停止 过 ,人 们 一 直 致 力 于 提高 和 拓展 算法 的 
能 力 。 

在 本 节 中 ,我 们 将 从 以 下 几 个 重要 方面 阐述 关于 遗传 算法 的 改进 ,其 中 包括 算 子 的 选 
择 \ 参 数 的 设置 ,混合 遗传 算法 和 并 行 遗 传 算法 。 


43.1 算 子 选择 


站 和 匈 是 选择 操作 。 种 群 的 选择 是 中 传 算 法 中 一 项 重要 的 操作 。 目 然 选 择 保 存 下 来 的 
物种 决定 了 生物 的 进化 程度 。 同 样 地 ,选择 的 效率 如 何 , 即 是 否 能 够 保证 留 下 来 的 染色 体 
是 具有 进化 发 展 潜力 的 染色 体 或 是 目前 较 好 的 染色 体 , 对 遗传 算法 的 性 能 具有 主要 的 决 
ze TEA 

在 4.2 WAT AA at Fe IE AY BES tit FE PC. RIA h AY E PE 2e dT de Za ve FE 
BW. FE BEM HE PETE YE h FR RH [nj PP, SEL SOD Tr IX, 29 3 Fe ae EY PE 
从 轮 盘 赌 选 择 的 实现 机 制 可 以 看 到 , 较 优 染色 体 的 己 值 较 大 ,被 选择 的 概率 相对 较 大 。 
同时 由 于 选择 的 随机 性 ,当前 较 差 的 染色 体 也 具有 一 定 的 生存 空间 。 这 正 是 人 们 倾向 于 
使 用 轮 盘 赌 选择 算法 的 原因 ,但 轮 盘 赌 选择 算法 并 不 是 一 种 完美 的 方法 。 随 机 地 选择 会 
导致 选择 误差 较 大 ,有 时 候 可 能 选 不 上 适应 值 较 高 的 染色 体 。 

选择 算法 的 研究 一 直 是 改进 遗传 算法 的 重要 内 容 之 一 。 各 种 不 同 的 选择 算法 和 模型 
相继 推出 。 表 4. 3 给 出 了 几 种 较为 常见 的 选择 算法 模型 。 

表 4.3 遗传 算法 选择 模型 


适应 值 比例 模型 ( 轮 盘 赌 选择 ) Fitness Proportional Model [6] 
最 佳 个 体 保 存 模型 Elitist Model [6] 
排挤 模型 Crowding Model [6] 
确定 性 采样 Deterministic Sampling [25 | 
期 望 值 模 型 Expected Value Model [25] 
无 回放 余数 随机 采样 Remainder Stochastic Sampling with Replacement [25] 
随机 锦标 赛 模型 Stochastic Tournament Model [25] 
排序 模型 Rank-based Model [26 | 


其 次 是 交配 操作 。 在 4.2 节 给 出 的 交配 规则 属于 单 点 交配 (One-point Crossover) , 
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随 大 对 遗传 算法 研究 的 深入 ,人 们 提出 了 一 些 其 他 的 交配 拭 子 ,并 进行 了 大 量 的 改进 。 
表 4.4 给 出 了 这 些 典 型 的 交配 算 子 ;如 两 点 交配 (Two-point Crossover)、 多 点 交配 
(Multi-point Crossover), 均匀 交配 ( Uniform Crossover), $& AR 32 Be (Arithmetic 
Crossover), 。 同 时 ,学 者 在 研究 遗传 算法 的 具体 应 用 时 ,针对 问题 和 具体 的 染色 体 编 码 方 
式 开 发 出 了 许多 独特 的 较为 成 功 的 交配 算 子 ,这 些 交 配 算 子 同样 被 广泛 地 仿 鉴 和 应 用 。 
如 表 4. 4 所 示 , 针 对 旅行 商 问 题 (Traveling Salesman Problem,TSP) 问 题 基于 路 径 表 示 
的 染色 体 编 码 方法 ,Goldberg 等 人 :2 在 1985 年 提出 部 分 匹配 交配 算 子 ,同一 年 Davis 等 
AVS) 提 出 了 顺序 交配 算 子 , Oliver AC 则 在 1987 年 提出 循环 交配 算 子 ,还 有 
Whitley F 1989 年 给 出 的 边 重 组 交配 算 子 。Nagata 和 Kobayashi?! 提出 的 边 集 合 交 
配 算 子 成 为 目前 用 于 TSP 的 极为 重要 的 交配 算 子 。 


表 4.4 遗传 算法 交配 算 子 


Ze pa A Bid Multi-point Crossover [6] 

部 分 匹配 交配 算 子 Partially Matched Crossover, PMX [27 ] 
顺序 交配 算 子 Ordered Crossover, OX [28] 
(a Fac ROT Cycle Crossover, CX [29] 
边 重 组 交配 算 子 Edge Recombination. ER [30] 
边 集合 交配 算 子 Edge Assembly Crossover, EAX [31] 


两 点 交配 Two-point Crossover [32] 
均匀 交配 Uniform Crossover [33] 
算术 交配 Arithmetic Crossover [34] 
单 性 孢子 交配 算 子 Partheno-Crossover [35] 


最 后 是 变异 操作 。 前 面 在 4. 2 节 所 涉及 的 二 进 制 编码 染色 体 和 浮 点 数 编码 染色 体 的 
变异 操作 分 别 属 于 简单 变异 (Simple Mutation) $125 5] BH (Uniform Mutation) 。 
对 遗传 算法 的 改进 研究 同样 给 出 了 一 些 新 的 变异 算 子 ,如 表 4.5 Wr. 


表 4.5 遗传 算法 变异 算 子 


HF RR asda 


边界 变异 Boundary Mutation [34] 
高 斯 变异 Gaussian Mutation [34] 
非 均 名 变 异 Non-uniform Mutation [36] 


432 参数 设置 
遗传 算法 涉及 的 主要 控制 参数 cc 有 群体 规模 N, 染 色 体 的 长 度 工 ,基因 的 取 值 范 


围 尺 ,交配 概率 P, ,变异 概率 P,, ,适应 值 评价 ,终止 条 件 。 表 4. 6 将 这 些 参数 对 于 遗传 算 
法 的 意义 和 经 验 设置 进行 了 归纳 。 


群体 规模 N 


染色 体 的 长 度 工 


基因 的 取 值 范 
FE] R 


交配 概率 P. 


变异 概率 Pn 


适应 值 评价 


终止 条 件 


表 4.6 遗传 算法 参数 经 验 设置 


参考 设置 J 表示 参数 的 意义 。 表示 参数 的 经 验 设置 

Jo 影响 算法 的 搜索 能 力 和 运行 效率 。 

GR 和 设置 较 大 ,一 次 进化 所 覆盖 的 模式 较 多 ,可 以 保证 群体 的 多 样 性 ,从 而 提 
高 算法 的 搜索 能 力 , 但 是 由 于 群体 中 染色 体 的 个 数 较 多 ,势必 增加 算法 的 计算 
量 , 降 低 了 算法 的 运行 效率 。 

。 E NN 设置 较 小 ,虽然 降低 了 计算 量 ,但 是 同时 降低 了 每 次 进化 中 群体 包含 更 
多 较 好 染色 体 的 能 力 “， 

。 N 的 设置 一 般 为 20 一 100。 

JO 影响 算法 的 计算 量 和 交配 变异 操作 的 效果 ， 

* 工 的 设置 跟 优 化 问题 密切 相关 ,一 般 由 问题 定义 的 解 的 形式 和 选择 的 编码 方 
法 决定 。 

对 于 二 进 制 编码 方法 ,染色 体 的 长 度 工 根据 解 的 取 值 范围 和 规定 精度 要 求 选 
择 大 小 。 

。 对 于 浮 点 数 编码 方法 ,染色体 的 长 度 工 跟 问 题 定义 的 解 的 维 数 DD 相同 。 

。 除了 染色 体 长 度 一 定 的 编码 方法 ,Goldberg 等 人 中 还 提出 了 一 种 变 长 度 染 色 
体 遗 传 算法 Messy GA ,其 染色 体 的 长 度 并 不 是 固定 的 。 

Jo 民 视 采用 的 染色 体 编码 方案 而 定 。 

© 对 于 二 进 制 编码 方法 ,R= 二 10,1}) ,而 对 于 浮 点 数 编 码 方法 ,R 与 优化 问题 定义 
的 解 每 一 维 变量 的 取 值 范围 相同 。 

J 决定 了 进化 过 程 种 群 参加 交配 的 染色 体 平均 数目 P. x N。 

。 P. 的 取 值 一 般 为 0. 4 一 0. 99. 

。 也 可 采用 自 适 应 的 方法 调整 算法 运行 过 程 中 的 P. Ao”. 

J 增加 群体 进化 的 多 样 性 ,决定 了 进化 过 程 中 群体 发 生变 异 的 基因 平均 个 数 ，。 

。 P, 的 值 不 宜 过 大 。 因 为 变异 对 已 找到 的 较 优 解 具 有 一 定 的 破坏 作用 ,如 果 
P 的 值 太 大 ,可 能 会 导致 算法 目前 所 处 的 较 好 的 搜索 状态 倒退 回 原来 较 差 的 
情况 。 

。 P, 的 取 值 一 般 为 0.001 一 0. 1, 

。 也 可 采用 自 适应 的 方法 调整 算法 运行 过 程 中 的 Pa fae. 

\ ”影响 算法 对 种 群 的 选择 ,恰当 的 评估 函数 应 该 能 够 对 染色 体 的 优 劣 做 出 合适 
的 区 分 ,保证 选择 机 制 的 有 效 性 ,从 而 提高 群体 的 进化 能 力 。 

。 评估 了 明 数 的 设置 同 优化 问题 的 求解 目标 有 关 ，。 

© 评估 函数 应 满足 较 优 染 色 体 的 适应 值 较 大 的 规定 。 

。 为 了 更 好 地 提高 选择 的 效能 ,可 以 对 评估 函数 做 出 一 定 的 修正 。 

。 目前 主要 的 评估 函数 修正 方法 有 : 

名 线性 变换 
as Fe RAE d 
es tH RE AS 

Jo 决定 算法 何 时 停止 运行 ,输出 找到 的 最 优 解 。 

。 采用 何 种 终止 条 件 , 跟 具体 问题 的 应 用 有 关 。 

。 可 以 使 算法 在 达到 最 大 进化 代数 时 停止 ,最 大 进化 代数 一 般 可 设置 为 100 一 


1000 ,根据 具体 问题 可 对 该 建议 值 作 相 应 的 修改 。 

也 可 以 通过 考察 找到 的 当前 最 优 解 的 情况 来 控制 算法 的 停止 。 例 如 , 当 目 前 
进化 过 程 算法 找到 的 最 优 解 达到 一 定 的 误差 要 求 , 则 算法 可 以 停止 。 误差 范 
围 的 设置 同样 跟 具 体 的 优化 问题 相关 。 或 者 是 算法 在 持续 很 长 的 一 段 进化 时 
间 内 所 找到 的 最 优 解 没 有 得 到 改善 时 ,算法 可 以 停止 。 


43.3 混合 遗传 算法 


混合 遗传 算法 (Hybrid Genetic Algorithm, HGA)'** 纠 是 将 遗传 算法 同 其 他 优化 算 
法 有 机 结合 的 混合 算法 ,目的 在 于 得 到 性 能 更 优 的 算法 ,提高 遗传 算法 求解 问题 的 


提出 混合 遗传 算法 思想 的 主要 原因 有 二 : 一 是 遗传 算法 存在 局 部 搜索 能 力 较 弱 的 缺 
点 ,而 遗传 算法 之 外 的 其 他 搜索 方法 如 故 山 法 (Hillclimbing Algorithm)、 最 速 下 降 法 
(Steepest Descent Method) ,局 部 搜索 算法 (Local Search Algorithm) 和 模拟 退火 算法 
(Simulated Annealing Algorithm) 却 在 局 部 搜索 方 面具 有 得 天 独 厚 的 优势 ,将 这 些 优化 
方法 融入 遗传 算法 可 以 成 为 改进 遗传 算法 局 部 搜索 能 力 的 有 效 途 径 。 

二 是 里 然 遗 传 算 法 对 问题 应 用 求解 具有 很 强 的 普 适 性 ,但 是 应 用 于 特定 的 专门 领域 
问题 时 ,遗传 算法 可 能 不 是 解决 问题 的 最 佳 方 法 ,并 不 能 保证 最 佳 的 求解 性 能 。 而 当 人 们 
试图 往 遗 传 算法 中 加 入 专门 领域 特定 知识 时 ,发 现 遗 传 算法 的 性 能 明显 改善 "1 。 

混合 的 思想 能 够 成 功 地 使 得 到 的 混合 算法 在 性 能 上 超过 原 有 的 遗传 算法 “下 。 表 4. 7 
归纳 了 一 些 混合 遗传 拭 法 的 成 功 实例 。 

表 4.7 混合 遗传 算法 的 成 功 实例 


混合 算法 名 称 参考 文献 
并 行 组 侣 模拟 退火 算法 (Parallel Recombination Simulated Annealing, PRSA) [43] 
并 行 模拟 退火 遗传 算法 (Parallel Simulated Annealing and Genetic Algorithms, PSAGA) [44] 
A A jt (6 FF (Greedy Genetic Algorithm, GGA) [46] 
遗传 比率 切割 算法 (Genetic Ratio-Cut Algorithm. GRCA) [47 ] 
it fe fili 3 (Genetic Hillclimbing Algorithm. GHA) [48] 
引入 局 部 改善 操作 的 混合 遗传 算法 [49] 
免疫 遗传 算法 (Immune Genetic Algorithm, IGA) [50 ] 
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并 行 计 算 (Parallel Computing) 区 别 于 在 单 指 令 流 单数 据 流 (Single Instruction 
Single Data,SISD) 处 理 右 上 执行 的 串 行 计算 (Serial Computing) ,是 一 种 通过 使 用 单 指 令 
流 多 数据 流 (CSingle Instruction Multiple Data, SIMD) it A BL. Z fa ^ itt eX dq Tit 
(Multiple Instruction Multiple Data, MIMD) 计 算 机 或 并 行 计 算 网 络 来 快速 解决 大 型 而 
义 复 林 的 计算 问题 的 新 的 现代 计算 技术 。 并 行 计算 能 够 充分 利用 各 种 计算 资源 和 存储 次 
源 , 是 突破 目前 计算 机 计算 瓶颈 的 可 行 技 术 之 一 。 随 春 并 行 计 算 机 和 网 络 的 飞速 发 展 , 并 
行 计算 的 基础 越 来 越 稳 固 , 并 以 较 快 的 速度 发 展 和 完善 。 并 行 计算 技术 为 解决 遗传 算法 
的 计算 效率 问题 提供 了 有 效 的 技术 手段 。 在 遗传 算法 运行 过 程 中 ,算法 的 计算 量 在 群 
体 规模 较 大 时 将 急剧 增加 ,尤其 是 染色 体 适应 值 的 计算 将 占据 CPU 大 量 的 计算 时 间 ， 
从 而 降低 了 算法 的 运行 速度 。 男 一 方面 ,遗传 算法 具有 潜在 的 并 行 性 ,虽然 算法 从 
整体 的 流程 上 看 仍然 是 串 行 的 ,但 是 算法 运行 过 程 中 对 每 个 染色 体 的 处理 却 是 具有 一 


第 4 章 ，” 和 遗传 算法 


定 的 相互 独立 性 的 ,例如 变异 操作 、 适 应 值 计 算 。 这 为 回 遗 传 算 法 中 引入 并行 计 算 技 
本 的 实现 提供 了 可 行 条 件 。 因 此 出 现 了 并 行 遗 传 算法 (Parallel Genetic Algorithm. 
PGA) U RRS. 

接 下 来 讨论 如 何 将 并 行 计算 应 用 于 遗传 算法 。 在 目前 的 人 研究 应 用 中 ,并 行 遗传 算法 
有 了 两 种 表现 形式 ,一 种 是 标准 型 并 行 方 法 (Standard Parallel Approach) ,为 一 种 是 分 解 型 
并 行 方法 (Decomposition Parallel Approach) 。 

标准 型 并 行 方法 并 没有 根本 改变 遗传 算法 整体 上 的 串 行 计算 结构 ,只 是 在 算法 的 某 
些 操作 中 引入 并 行 计算 技术 ,这 些 操作 包括 适应 但 计算 .选择 操作 交配 操作 、 变 异 操 作 
等 555] PR 4.11 是 标准 型 并 行 方 法 实现 遗传 算法 各 个 操作 并 行 化 的 示意 图 。 


将 规模 为 N 的 群体 中 
| 的 染色 体 进行 分 组 , 再 把 
急 始 化 群体 分 组 分 配 到 不 同 的 计算 资 个 


Ut EAT ERTF 和 


对 染 巴 体 进行 分 组 , 骨 
把 分 组 分 配 到 不 同 的 计算 
请 源 分 列 独 立 进 行 染 色 体 
的 适应 值 计算 


开行 计算 网 络 


先 根 据 艾 配 概率 P, 选 
择 可 以 参加 交配 的 染色 体 ， 
对 交配 的 染色 体 对 进行 分 
组 , 骨 分 配 到 名 个 计算 次 
源 上 技 行 区 配 操作 


对 染色 体 进行 分 组 , 骨 
把 分 组 分 配 到 不 同 的 计算 |. 
资产 上 ,分 别 对 染色 体 的 基 
因 按 照 变 异 概 率 已 ,进行 变 
TRE 


图 4.11 标准 型 并 行 方 法 简单 示意 图 


分 解 型 并 行 方法 的 基本 思想 是 将 整个 群体 分 解 成 几 个 了 于 群体 ,各 个 子 群 体 分 配 到 不 
同 的 计算 于 源 上 分 别 独立 地 使 用 原 有 的 遗传 算法 进行 进化 。 可 见 , 这 种 思想 更 贴近 于 月 
然 界 的 生物 进化 系统 。 由 于 地 域 的 限制 ,分布 在 不 同 地 城 的 同一 种 生物 的 进化 过 程 是 不 
相同 的 ,最 终 导 致 出 现 各 种 不 同 的 物种 。 不 同 物 种 适应 环 培 的 能 力 不 尽 相同 。 同 样 地 , 独 
立 进行 进化 的 各 个 子 群 体 在 各 个 阶段 的 进化 程度 也 是 不 同 的 。 因 此 ,分 解 型 并 行 方法 要 
求 每 隔 一 定 的 进化 代数 需要 对 各 个 子 群 体 的 进化 结果 信息 进行 交换 。 图 4. 12 给 出 了 分 
fj HY JE TT Jr iE inj Ro LS 

在 分 解 型 并 行 遗 传 算法 中 ,各 个 子 群 体 的 信息 交换 是 一 个 重要 的 操作 。 对 于 子 群 体 
之 间 如 何 交 换 进 化 信息 ,需要 解决 表 4.8 中 列 出 的 几 个 重要 问题 。 
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图 4.12 分 解 型 并 行 方法 简单 示意 图 


表 4.8 子 群 体 进化 信息 交换 问题 
问题 对 应 BOE OX 
交换 的 时 间 | 每 隔 多 少 个 进化 代数 实行 信息 交换 
交换 的 方式 | 每 次 参与 信息 交换 的 子 群体 如 何 确定 ,每 个 子 群体 和 其 他 哪些 子 群 体 进 行 交 换 


可 以 是 用 子 群 体 之 间 适 应 值 最 大 的 最 优 染 色 体 取代 参与 交换 的 子 群体 的 最 优 染 色 


壬 开外 站 客体 ,也 可 以 是 交换 子 群体 的 部 分 较 优 染 色 体 等 


围绕 分 解 型 并 行 遗 传 算法 的 信息 交换 操作 , 竺 着 们 提出 了 许多 创造 性 的 方法 。 目 前 
的 研究 成 果 给 出 了 几 种 典型 的 实现 并 行 遗 传 算法 的 群体 模型 : 岛屿 模型 (Island Model), 
踏 脚 石 模型 (Stepping-stone Model) ,邻居 模型 (Neighborhood Model), 。 基 于 这 些 群 体 模 
型 ,许多 学 者 使 用 不 同 的 信息 交换 策略 ,开发 出 了 各 种 独特 的 并 行 遗 传 算法 。 这 些 算法 各 
有 自己 的 优点 ,成 功 地 提高 了 算法 的 运行 效率 。 表 4.9 给 出 了 各 种 群体 模型 下 成 功 的 并 
行 遗 传 算法 实例 。 
表 4.9 各 种 群体 模型 下 成 功 的 并 行 遗 传 算法 实例 


群体 模型 并 行 遗 传 算法 的 名 称 或 开发 人 员 参考 文献 


Kroger 等 人 [58] 
Chen 等 人 [60 ] 
Mühlenbein H 等 人 [54] 
Genetic Algorithm with Punctuated Equilibria, GAPE [61] 
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遗传 算法 最 早 用 于 研究 和 设计 人 工 自 适应 系统 小 车 和 求解 函数 优化 问题 中 。 随 着 
对 遗传 算法 的 人 赋 究 逐步 深信 ,遗传 算法 的 性 能 不 断 地 得 到 改进 和 完善 ,算法 的 应 用 涉及 更 
加 广泛 的 领域 ,并 表现 出 很 好 的 解决 问题 的 能 力 。 目 前 ,遗传 算法 的 应 用 范围 已 延伸 到 组 
合 优化 -"* ERRARE] qs s VU S Bee m ES 92877 FE a f il. 
Blase 2]5099 ATEM AE 38 CO 、 网 络 通信 ': 拓 等 多 个 领域 和 各 类 学 科 如 电子 工 
giu 电力 学 中 spes spei da Bae eed Se 

1. 优化 与 调度 应 用 

大 量 实际 工程 系统 的 设计 和 优化 问题 可 以 转换 为 函数 优化 问题 进行 解决 。 函 数 优 化 
问题 是 一 类 通过 对 图 数 变 量 进 行 数 值 的 设置 优化 以 达到 困 数 优化 目标 的 问题 。 函 数 优 化 
是 遗传 算法 的 传统 应 用 领域 , 随 厦 对 遗传 算法 的 不 断 改 进 ,遗传 算法 应 用 于 解决 函数 优化 
问题 已 经 越 来 越 成 熟 ，。 

实际 生产 生活 中 存在 许多 调度 和 规划 问题 ,这 类 问题 属于 组 合 优化 问题 ,通常 涉及 比 
图 数 优化 更 为 复杂 的 优化 目标 ,例如 作业 调度 问题 .旅行 商 问题 .布局 问题 等 。 到 目前 为 
止 ,遗传 算法 已 经 成 功 地 在 许多 调度 和 规划 问题 上 给 出 了 令 人 满意 的 解决 结果 。 表 4. 10 
提供 了 遗传 算法 在 工程 系统 设计 优化 与 调度 规划 方面 的 成 功 应 用 .。 


表 4.10 遗传 算法 在 工程 系统 设计 优化 与 调度 规划 方面 的 成 功 应 用 


管道 系统 优化 Pipe system optimization [10] 
作业 调度 问题 Job shop scheduling problem [98 ][99] 
图 划分 问题 Graph partitioning problem [100] 
木材 切割 优化 问题 Lumber cutting optimization problem [101] 
指派 问题 Assignment problem [102] 
网 络 划 分 问题 Network partitioning problem [103] 
映射 问题 Mapping problem [104 | 
设备 布局 设计 Facility layout design [105] 
运输 问题 Transportation problem [106 ] 

育 包 问题 Knapsack problem [107 ][108] 
最 小 生成 树 问 题 Minimum spanning tree problem [109] 
旅行 商 问 题 Traveling salesman problem [110] 
影片 递交 问题 Film-copy deliverer problem [111] 

可 靠 性 优化 问题 Reliability optimization problem [112 ] 
流水 相间 问题 Flow shop problem [113] 
模糊 车 辆 路 径 问 题 Fuzzy vehicle routing problem [114] 
其 他 Others eresse 


2. 其 他 方面 的 应 用 
遗传 算法 的 应 用 范围 并 不 局 限于 电 数 优化 和 组 合 优 化 问题 ,而 且 广 泛 地 应 用 于 图 像 
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处 理 和 模式 识别 、 机 各 学习、 乔 能 控制 .人 工 生 命 、 目 动 程 订 设计 等 重要 领域 ,如 表 4. 11 所 
a. HH Tas fei 1A uL HIIS EE BUZ: DA 8i 2 PAS D Ac TRE Da 39 Pe TAY AS BA HE . 
TH fri x Pe A He E CHR. Jor H T HH ft E S Ay A DL 
44.11 遗传 算法 在 其 他 方面 的 应 用 
本 图像 处 理 和 模式 识别 


*。 Rot el 
Bhanu B.Lee S 和 Ming J E38 f£ 8:1: hz HI F ARR ; 
Chun D N 和 Yang H S 使 用 带 模糊 测度 的 遗传 算法 实现 具有 健壮 性 的 图 像 分 割 技术 。 
。 图 像 复原 及 重建 优化 
Chen Y W 使 用 基于 岛屿 模型 的 并 行 遗 传 算法 实现 对 图 像 的 复原 ; 
Chen Y W 使 用 调和 算 子 约束 的 遗传 算法 对 中 子 半 影 成 像 的 重建 问题 进行 了 研究 5 
图 像 识 别 检索 
Bhandarkar S M 等 人 成 功 将 遗传 算法 应 用 于 对 图 像 边缘 的 检测 站 s 
Cross AD 等 人 使 用 遗传 算法 进行 图 形 匹 配 ，。 


e TL SR SE > 


学 习 分 类 系统 

Holland] H 等 人 “在 1978 年 成 功 实 现 了 第 一 个 基于 遗传 算法 的 分 类 系统 CClassifier 
Systems) BRAA ABE CSL; 

Smith SF 在 1980 年 成 功 实现 基于 遗传 算法 的 机 器 学 习 系 统 LS-177; 

Booker L B F 1982 年 在 其 博士 论文 中 提出 另 一 种 基于 遗传 算法 的 分 类 系统 1 ; 

Wilson S W 使 用 遗传 算法 于 1985 年 鸣 成 功 开发 了 用 于 协调 可 移动 视频 摄像 机 感知 运动 的 分 类 
系统 EYE-EYE; 此 后 他 又 提出 新 的 分 类 系统 ANIMATU ; 

Goldberg D E 运用 遗传 算法 和 规则 学 习 实 现 用 于 控制 煤气 管道 计算 机 辅助 系统 的 分 类 系统 s 
De Jong K A 等 人 使 用 遗传 算法 研制 了 概念 学 习 系 统 GABIL^" ; 

Janikow C Z 实现 的 GIL 和 Green D P 等 人 研制 的 COGIN 也 是 通过 遗传 算法 实现 概念 学 习 
的 特有 操作 。 

神经 网 络 

Vittorio Maniezzo 将 遗传 算法 应 用 于 神经 网 络 拓 扑 结构 和 连接 权 值 的 优化 "|， 

Bornholdt S 等 人 成 功 将 遗传 算法 应 用 于 非 对 称 神经 网 络 的 设计 ; 

Schaffer J D 等 人 利用 遗传 算法 改进 神经 网 络 的 突现 行为 ; 

Marshall S J 等 人 实现 基于 遗传 算法 的 前 馈 神 经 网 络 优化 和 训练 。 


名 智能 控制 


。 使 用 GA 实现 系统 识别 和 控制 

。 使 用 GA 实现 谈判 支持 系统 站 

使 用 GA 实现 模糊 控制 器 的 自动 调整 co 
。 使 用 GA 实现 控制 器 的 设计 和 调整 
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l. 1H 请 前 述 遗 传 算 法 的 基本 思想 来 源 。 
2. 请 写 出 遗传 算法 执行 过 程 的 基本 步骤 。 


a. 假设 图 数 Y fGxsxssx45 x4) >= pp P . 


zzyzayzis10, 使 用 遗传 算法 求解 y 的 最 大 但 ,请 仿照 例 4. 1 写 出 关键 的 求解 步骤 。 


4. 谈 谈 你 对 4. 3. 1 节 涉 及 的 几 种 选择 算法 熟 优 熟 劣 的 看 法 。 
列举 遗传 算法 主要 的 控制 参数 ,并 简单 描述 各 个 控制 参数 对 算法 的 作用 和 意义 
请 写 出 对 评估 函数 进行 修正 的 主要 方法 ， 

参阅 有 关 文献 ,探讨 混合 遗传 算法 优 于 基本 遗传 算法 的 特点 。 

试 比较 并 行 遗传 算法 中 标准 型 并 行 方法 和 分 解 型 并 行 方法 的 不 同 之 处 ， 

. 按照 4.2 节 给 出 的 遗传 算法 基本 流程 结构 上 机 编写 完整 的 遗传 算法 程序 ,实现 对 


例 4. 1 和 习题 3 完整 的 求解 。 


10. 在 习题 9 的 遗传 算法 程序 中 对 遗传 算法 几 个 主要 控制 参数 的 取 值 进行 修改 , 比 


较 修 改 前 后 程序 的 运行 性 能 。 
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普通 高 校本 科 计 算 机 专业 


蚁 群 优化 算法 


FS FEA Sh se TEES DA HO. STER TA EU 66781 FETS ,它们 是 如 何 
LS XPUEREEBJT 是 如 何 与 同伴 合作 交流 的 ? 会 不 会 也 是 一 种 优化 行 
为 呢 ? 我 们 能 据 此 设计 出 一 种 最 优化 搜索 算法 吗 ? 


申 蚁 群体 寻找 食物 的 过 程 可 以 看 
做 是 一 种 局 发 式 搜索 过 程 .蚂蚁 之 间 
通过 一 种 称 为 信息 素 (Pheromone) 的 
物质 实现 了 相互 的 间接 通信 ,从 向 能 
ee PEACE DABS Bl) BRAY Bc A 
路 径 。 

TB TS ETT A 
RER. WATE TRAIL 
i: (Ant Colony Optimization, ACO), 
为 最 优化 问题 , 尤其 是 组 合 优化 问 
题 的 求解 握 供 了 一 组 有 力 的 手段 。 
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WC FE Ek FE CAnt Colony Optimization,;ACO) 作 为 一 种 全 局 最 优化 搜索 方法 , 同 踪 
传 算 法 一 样 来 源 于 自然 界 的 启示 ,并 有 着 良好 的 搜索 性 能 。 不 同 的 是 , 蚁 群 算法 通过 模拟 
蚂蚁 如 食 的 过 程 ,是 一 种 天 然 的 解决 离散 组 合 优 化 问题 的 方法 ,在 解决 典型 组 合 优 化 问 
题 , 如 旅行 商 问 题 (TSP) .车 辆 路 径 问 题 CVRP) ,车 间作 业 调 度 问 题 (JSP) 时 具有 明显 的 
优越 性 。 目 前 针对 改 群 算法 在 数学 理论 .算法 改进 .实际 应 用 等 方面 的 全 完 是 计算 智能 领 
域 的 热点 ,取得 了 一 定 的 进展 。 

本 草 将 从 ACO 算法 的 基本 原理 、 俩 究 进 展 、 基 本 流程 ,改进 版 本 、 参 数 设 置 和 相关 应 
用 等 各 个 方面 进行 介绍 ,具体 包括 如 下 的 内 容 : 

。 琢 群 优化 算法 的 基本 原理 ; 

。 下 和 群 优 化 算法 的 全 究 进展 ; 

。 蚁 群 优化 自 法 的 基本 流程 ; 
蚁 和 群 优化 算法 的 改进 版 本 
蚊 群 优化 算法 的 相关 应 用 : 
尽 群 优化 算法 的 参数 设置 。 


5.1. 峻 群 优化 鼻 法 简介 


5.1.1 基本 原理 


日 然 界 第 第 是 人 类 创新 思想 的 源 果 。 日 然 界 中 纶 含 的 内 在 规律 ,生物 的 作 忠 规则 往 
往 被 借鉴 ,并 诞生 新 的 学 科 。 许 多 这 种 在 自然 界 司 示 下 诞生 的 新 学 科 新 方法 都 在 数学 基 
础 没有 被 完 全 证 明 的 情况 下 ,通过 仿 丰 实验 验证 了 其 有 效 性 ,因为 神奇 的 生物 界 常 党 可 以 
通过 目 身 的 泪 化 解决 许多 在 人 类 看 来 十 分 复 开 的 优化 问题 。 而 在 这 些 方 法 被 验证 有 歼 性 
后 ,科学 冢 们 又 不 断 符 试 着 给 出 其 数学 理论 的 证 明 , 在 对 数学 理论 基础 探索 的 过 程 中 ,不 
论 是 这 些 思想 和 方法 本 身 , 还 是 自然 界 生物 界 的 理论 ,都 会 不 断 地 发 展 和 完善 。 

蚁 群 优 化 算法 (Ant Colony Optimization, ACO) 由 Dorigo & A F 1991 年 在 第 一 
Jr OA, TE fi 2 i (European Conference on Artificial Intelligence,ECAL) 上 提出 ,是 
BRAD, ASR FE SE ea PE — Ls A, IE A 45 itt 1 HIKE (Genetic 
Algorithm, GA), f T Æ o fb A y (Particle Swarm Optimization, PSO), % J FYE 
(Immune Algorithm, IA) lala T [5 ^E DG 15 50-1 . AAS PEER ee FF TT or pi X 
计算 ,多 与 其 他 方法 第 合 等 优点 ,在 典型 组 合 优化 问题 如 旅行 商 问 题 (Traveling Salesman 
Problem. TSP)*! 、 车 辆 路径 问题 (Vehicle Routing Problem. VRP)” , 车 间作 业 调 度 问 
题 (Job-shop Scheduling Problem ,JSP)-14 和 动态 组 合 规划 问题 如 通信 和 领域 的 路 由 问 
wa? 235 中 均 得 到 了 成 功 的 应 用 。 

在 对 图 5. 1 Hras YS N A Be EE LE ,我们 不 答 要 提出 两 个 疑问 : CIO RE ICE 
发 育 完全 的 视觉 感知 系统 ,甚至 很 多 种 类 完全 没有 视觉 ,它们 在 寻找 食物 的 过 程 中 是 如 何 
选 撞 路 径 的 呢 ? 〈2) 晤 尽 往 往 像 车 队 役 有 纪律 \ 有 秩序 地 搬运 食物 ,它们 通过 件 么 方式 进 
行 群体 间 的 交流 协作 呢 ? 仿生 学 家 经 过 长 期 的 试验 与 研究 告诉 我 们 问题 的 答案 : 无 论 是 
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ie dy ie LU. 


图 5.1 蚂蚁 的 更 食 行 为 


昭 较 与 蝎 蚁 之 间 的 协作 还 是 蚂蚁 与 环境 之 间 的 交互 , 均 依 赖 于 一 种 化 学 物质 一 一 信息 素 
(pheromone), 。 蚂 尽 在 寻找 食物 的 过 程 中 往往 是 随机 选择 路 径 的 ,但 它们 能 感知 当前 地 
面 上 的 信息 素 浓度 ,并 倾向 于 往 信息 素 浓 度 高 的 方向 行进 。 信 息 素 由 蚂 疏 自身 释放 ,是 实 
现 尽 群 内 间接 通信 的 物质 。 由 于 较 短 路 径 上 蚂 收 的 往返 时 间 比 较 短 ,单位 时 间 内 经 过 该 
路 径 的 蚂蚁 多 ,所 以 信息 素 的 积累 速度 比较 长 路 径 快 。 因 此 , 当 后 续 蚂 下 在 路 口 时 ,就 能 
感知 先前 蚂蚁 留 下 的 信息 ,并 倾向 于 选择 一 条 较 短 的 路 径 前 行 。 这 种 正 反 馈 机 制 使 得 越 
来 越 多 的 蚂 习 在 呆 守 与 食物 之 间 的 最 短路 径 上 行进 。 由 于 其 他 路 径 上 的 信息 素 会 随 着 时 
间 蒸 发 ,最 终 所 有 的 蚂 疏 都 在 最 优 路 径 上 行进 。 蚂 蚁 群体 的 这 种 自 组 织 工作 机 制 适应 环 
境 的 能 力 特 别 强 ,假设 最 优 路 径 上 突然 出 现 障 碍 物 , 蚁 群 也 能 够 绕 行 并 且 很 快 重新 探索 出 
一 条 新 的 最 优 路 径 。 

图 5. 2 是 蚂蚁 通过 传递 信息 素 寻 找 食 物 的 示意 图 。 蚂 收 1 正 处 于 一 个 路 口 , 它 将 根 
据 “ 自 己 瞧 瞧 ”( 居 发 式 信息 ) 和 ”兄弟 们 的 气息 ”信息 素 浓度 ) 来 选择 前 进 的 路 线 。 选 择 是 
一 个 概率 随机 的 过 程 , 司 发 式 信息 多 、 信 息 素 浓度 大 的 路 线 有 更 大 的 概率 被 选中 。 当 小 概 
率 事件 发 生 时 ,例如 蚂 蚊 2 选择 了 一 条 非常 长 的 路 径 , 它 只 会 产生 很 少 的 信息 素 ( 并 且 信 
息 素 仍 在 不 断 蒸 发 ) ,使 得 后 面 的 蚂 疏 选择 这 条 路 的 概率 降低 甚至 不 再 选择 这 条 路 径 。 而 
HEREN Og dt 3) 发 现 了 一 条 当前 最 短 的 路 径 时 , 它 将 产生 最 多 的 信息 素 , 并 且 由 于 之 
后 的 蚂蚁 选择 这 条 路 径 的 概率 较 大 ,这 条 路 径 上 扑 过 的 蚂 政 较 多 ( 蚂 下 4 EC 5……), 信 

(2) Alb. EEE I: 
Hu. PE ea ae 


a ~~, 


rs dd v 
— 
r ~n (3) (&& i... ) > 
(1) 走 哪 条 路 比较 好 呢 ? 我 这 ARABI T \ 
WEE CURRIER Fi (4) 、(9) 好 强 的 信息 素 波 度 ，。 站 全 区 和 | 


感受 一 下 兄弟 们 的 气息 


NI." °° °° © 

(6) 我 自己 走 ， 说 不 定 能 探索 
出 下 一 条 更 短 的 路 径 呢 ， 

到 时 候 你 们 就 都 会 跟着 我 了 


图 5.2 蚊 群 根据 信息 素 更 食 的 过 程 
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息 素 浓度 将 不 断 增加 ,以 至 于 最 后 所 有 的 蚂蚁 都 在 这 条 路 上 行进 。 但 考虑 到 当前 最 短 的 
路 径 有 可 能 是 一 条 局 部 最 优 路 径 ,蚂蚁 6 的 探索 行为 也 是 必需 的 。 

通过 对 自然 界 蚊 群 砚 食 过 程 进 行 抽象 建 模 , 我 们 可 以 对 蚁 群 葛 食 现象 和 收 寿 优化 算 
法 中 的 各 个 要 素 建 立 一 一 对 应 关系 ,如 表 5. 1 所 示 。 


R51 蚁 群 砚 食 现象 和 蚊 群 优化 算法 的 基本 定义 对 照 表 


蚁 群 殉 食 现象 蚁 群 优 化 算法 
b Br 搜索 空间 的 一 组 有 效 解 (表现 为 种 群 规模 m) 
WE Z pg] 问题 的 搜索 空间 (表现 为 问题 的 规模 、 解 的 维 数 n) 
信息 素 fei RR PR EE 
HY R aE H 83 — BRE 一 个 有 效 解 
找到 的 最 短路 径 问题 的 最 优 解 


5.1.2 研究 进展 


第 一 个 ACO 算法 一 一 蚂 蚊 系统 (Ant System, AS) 0907 py NP 难 的 TSP 问题 作 
为 应 用 实例 而 提出 的 。AS 算法 初步 形成 的 时 候 虽 然 能 找到 问题 的 优化 结果 ,但 其 算法 
的 执行 效率 在 当时 并 不 优 于 其 他 传统 方法 ,因此 ACO 并 未 受到 国际 学 术 界 的 广泛 关注 。 
1992—1996 年 间 关 于 蚁 群 算法 的 研究 处 于 停 沸 状态 ,直到 1996 年 Dorigo 的 Ant system : 
optimization by a colony of cooperating agents 一 文 [正式 发 表 在 IEEE Transaction on 
System, Man, and Cybernetics。 这 篇 文章 详细 地 介绍 了 AS 的 基本 原理 和 算法 流程 ,并 
对 AS 的 三 个 版 本 : 蚂蚁 密度 (antrdensity) , 828/29 (ant-quantity) Al 83 WW PS] Cant-cycle) 
进行 了 性 能 比较 。 在 蚂 疏 密度 和 蚂 疏 数量 这 两 种 AS 版 本 中 ,蚂蚁 都 是 每 到 达 一 个 城市 
就 释放 信息 素 ,而 在 蚂蚁 圈 中 ,蚂蚁 是 在 构建 了 一 条 完整 的 路 径 之 后 再 根据 路 径 的 长 短信 
奶 来 释放 信息 素 。 现 在 一 般 我 们 所 讲 的 AS 就 是 蚂蚁 圈 , 男 外 两 者 由 于 性 能 不 佳 已 经 被 
Jik. Dorigo 还 在 该 文中 将 算法 的 应 用 领域 由 旅行 英 问 题 延伸 到 指派 问题 和 车 间作 业 
调度 问题 ,并 将 AS 的 性 能 与 候 山 法 .模拟 退火 .禁忌 搜索 .遗传 算法 等 进行 了 仿真 实验 比 
较 , 发 现在 大 多 数 情况 下 ,AS 的 寻 优 能 力 虱 是 最 优 的 。 这 是 蚊 群 优化 算法 发 展 历 史上 的 
一 个 里 程 碑 ,此 后 ACO 在 国际 上 受到 了 越 来 越 多 的 天 注 。 

AS 定 改 群 算 法 的 秩 形 , 它 的 出 现 为 各 种 改进 算法 的 提出 提供 了 灵感 。 之 后 诞生 了 
许多 改进 的 ACO 算法 ,如 表 5.2 所 示 。 这 些 典 型 的 ACO 算法 包括 精华 蚂蚁 系统 (Elitist 
AS, EAS)" .最 大 最 小 蚂蚁 系统 (MAX-MIN AS,MMAS) 2 基于 排列 的 蚂蚁 系统 
(rank-based AS, AS) 2 等 ,它们 大 多 是 在 AS 上 直接 进行 改进 。 通 过 修正 信息 素 的 更 
新 方式 和 增添 信息 素 维护 过 程 中 的 额外 细节 ,ACO 算法 的 性 能 得 到 了 提高 。1997 年 ， 
ACO 的 创始 人 Dorigo TE IEEE Transactions on Evolutionary Computation 上 发表 Ant 
colony system: A cooperative learning approach to the traveling salesman problem 一 
XU ,提出 了 一 种 大 幅度 改动 AS 特征 的 算法 一 一 蚁 群 系统 (Ant Colony System, ACS), 
实验 结果 表明 ACS 的 算法 性 能 明显 优 于 AS, ACS 是 蚁 群 优化 算法 发 展 史 上 的 又 一 里 程 
碑 。 之 后 改 群 算法 继 组 发展, 新 拓展 算法 不 断 出 现 , 例 如 采用 下 限 技 术 的 ANTS 5. 
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法  \ 超 立方 体 框架 AS 算法 等。 传统 的 ACO 算法 是 解决 离散 空间 的 组 合 优化 
问题 的 ,到 了 21 世纪 ,各 种 连续 蚊 群 算法 天 ”的 出 现 , 进 一 步 扩展 了 改 群 算法 的 应 用 
领域 。 


表 5.2 典型 的 ACO 算法 


算法 名 称 代表 性 文献 时 间 第 一 作者 备 d 


HG WY Fa BE CAS) 1991/1996 Dorigo 第 一 个 ACO 算法 
精华 ASCEAS) 1991 Dorigo 

Ant-Q 1995 Gambardella 

最 大 最 小 ASCMMAS) 1996 Stützle 

基于 排列 的 ASCAS,a) 1997 Bullnheimer 

蚁 群 系统 (ACS) 1997 Dorigo 

ANTS 1999 Maniezzo 

连续 蚁 群 (CACO) 2000 Mathur 优化 连续 空间 问题 
最 优 最 差 ASCBWAS) 2000 Cordon 

超 立 方 体 ASCHC-ACO) 2001 Blum 

正 交 连续 蚁 群 (COAC) 2008 Hnu 优化 连续 空间 问题 
伪 并 行 蚁 群 (PACO) 2008 Lin 


5.2. Web AWA Tie 


前 面 已 经 提 到 ,蚂蚁 系 统 是 以 TSP 作为 应 用 实例 提出 的 ,虽然 它 的 算法 性 能 不 及 之 
后 的 各 种 扩展 算法 如 MMAS、ACS 等 优秀 ,但 它 是 最 基本 的 ACO 算法 ,比较 易于 学 习 和 
掌握 。 本 节 将 以 蚂蚁 系统 求解 TSP 问题 的 基本 流程 为 例 来 描述 蚁 群 优化 算法 的 工作 机 
制 ,各 种 扩展 算法 将 在 下 一 节 中 介绍 。 


5.2.1 基本 流程 


AS 算法 对 TSP 的 求解 流程 主要 有 两 大 步 又: 路 径 构 建 和 信息 素 更 新 。 

已 和 个 城市 的 集合 C, 二 ta， c. t cs) ;任意 两 个 城市 之 间 均 有 路 径 连 接 ,di (i， 
j 二 1,2,…，n) 表 示 城 市 i 与 7 之 间 的 距离 ,和 它 古 已 知 的 (或 者 城市 的 坐标 集合 为 已 和 ,ds 
即 为 城市 i 与 7 之 间 的 欧 几 里 德 忠 离 )。 如 在 第 1 草 中 定义 的 一 样 ,TSP 的 目的 是 找到 从 
某 个 城市 出 发 ,访问 所 有 城市 且 只 访问 一 次 ,最 后 回 到 c 的 最 短 封闭 路 线 ， 

1. 路 径 构建 

每 只 蚂 尽 部 随机 选 撞 一 个 城市 作为 其 出 发 城市 ,并 维护 一 个 路 径 记 忆 癌 量 , 用 来 存放 
该 蚂 收 依次 经 过 的 城市 。 蚂 蚁 在 构建 路 径 的 每 一 步 中 ,按照 一 个 随机 比例 规则 选择 下 一 
个 要 到 达 的 城市 。 

定义 5.1 AS 中 的 随机 比例 规则 (random proportional); XP AIG Wk. wee ite 
问 量 Rt 按照 访问 顺序 记录 了 所 有 上 已 经 经 过 的 城市 厅 号 。 设 蚂蚁 当前 所 在 城市 为 i， 


85 


86 


计算 智能 


则 其 选择 城市 7 作为 下 一 个 访问 对 象 的 概率 为 : 
LE | 
pilij) = Aa EG T Ian Y Cm (5.1) 
0, 其 他 

其 中 ,J( 让 表示 从 城市 i 可 以 直接 到 达 的 且 又 不 在 蚂 下 访问 过 的 城市 序列 R* 中 的 城市 
集合 。n(i, 门 是 一 个 启发 式 信息 ,通常 由 y (i, )—1/d; 直接 计算 。z(i, 7) 表 示 边 (i, j) 
上 的 信息 杀 量 。 由 公式 (5.1) 我 们 知道 ,长 度 越 短 V fri d AR BE BECK I1] EA e tc 4 S D E IJ 
概率 越 大 。a 和 8 是 两 个 预先 设置 的 参数 ,用 来 控制 局 发 式 信 息 与 信息 系 浓 度 作 用 的 权 
HRA. MP aco 时 ,算法 演变 成 传统 的 随机 贪 柳 算 法 ,最 邻近 城市 伞 选 中 的 概率 最 大 。 
当 g— 0 时 ,蚂蚁 完全 只 根据 信息 素 浓 度 确定 路 径 , 算 法 将 快速 收 钱 ,这 样 构建 出 的 最 优 路 
径 往 往 与 实际 目标 有 痢 较 大 的 差异 ,算法 的 性 能 比较 糟糕 。 实 验 表 明 , 在 AS 中 设置 
ax 一 1,8 一 2 一 5 比较 合适 。 

2. 信息 素 更 新 

在 算法 初始 化 时 ,问题 空间 中 所 有 的 边 上 的 信息 素 都 被 初始 化 为 m。 如 果 cy Kh, 
算法 容易 早熟 , 即 蚂 疏 很 快 就 全 部 集中 在 一 条 局 部 最 优 的 路 径 上 。 反 之 ,如 果 ro KK 
县 素 对 搜索 方向 的 指导 作用 太 低 ,也 会 影响 算法 性 能 。 对 AS 来 说 ,我 们 使 用 
c, — m / C" om 是 好 下 的 个 数 ,C 是 由 贪 榴 算 法 构造 的 路 径 的 长 度 。 

当 所 有 蚂蚁 构建 完 路 径 后 ,算法 将 会 对 所 有 的 路 径 进行 全 局 信息 素 的 更 新 。 注 意 ,我 
们 所 摘 述 的 是 AS 的 ant-cycle 版 本 ,更 新 是 在 全 部 晤 必 均 完成 了 路 径 的 构造 后 才 进 行 的 ， 
信息 素 的 浓度 变化 与 蚂蚁 在 这 一 轮 中 构建 的 路 径 长 度 相 关 ,实验 表明 ant-cycle HE ant- 
density 和 ant-quantity 的 性 能 要 好 很 多 。 

信息 系 的 更 新 也 有 两 个 步骤 : 首先, 每 一 轮 过 后 ,问题 空间 中 的 所 有 路 径 上 的 信息 对 
MAKER ,我 们 为 所 有 边 上 的 信息 素 乘 上 一 个 小 于 1 的 和 常数。 信息 素 蒸发 是 自然 界 
本 身 固 有 的 特征 ,在 算法 中 能 够 帮助 避免 信息 素 的 无 限 积 累 , 使 得 算法 可 以 快速 丢弃 之 前 
构建 过 的 较 差 的 路 径 。 随 后 所 有 的 蚂蚁 根据 自己 构建 的 路 径 长 度 在 它们 本 轮 经 过 的 边 上 
释放 信息 隶 。 蚂 蚊 构 建 的 路 径 越 短 .释放 的 信息 素 就 越 多 ;一 条 边 被 蚂 蚊 爬 过 的 次 数 越 
多 、 它 所 获得 的 信息 素 也 越 多 。AS 中 城市 i 与 城市 的 相连 边 上 的 信息 素 量 eG.) Ti 
下 公式 进行 更 新 : 


rli j) = (1—p) » rli j) + DJ Au (i,i) 
k=] 


(C,)", Gj) € R* (5. 2) 


0, 其 他 
这 里 ,m 是 蚂蚁 个 数 ;o 是 信息 素 的 蒸发 率 , 规 定 0 一 o 迄 1, 在 AS 中 通常 设置 为 p=0.5. 
Ar G.j)3& k 只 蚂 尽 在 它 经 过 的 边 上 释放 的 信息 素 量 , 它 等 于 蚂蚁 & 本 轮 构建 路 径 长 
度 的 倒数 。C 表示 路 径 长 度 , 它 是 R 中 所 有 边 的 长 度 和 。 

AS 求解 TSP 的 流程 图 和 伪 代 码 如 图 5. 3 所 示 。 
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// 功 能 : 蚂蚁 系统 伪 代 码 
// 说 明 : 本 例 以 求解 TSP 问题 为 目标 


// 参 数 : N 为 城市 规模 


初始 化 每 条 边 上 的 信息 素 量 T 


> 5 
for each edge 
z set initial pheromone value To. 
end for 
while not stop 


for each ant k 


对 每 只 蚂蚁 ， 随 机 选择 一 个 
出 发 城市 


randomly choose an initial city. 
for i= lton 
choose next city j with the probability 


ELT ien (SRY)? 


对 每 只 蚂 骨 根据 局 发 承 信 息 和 信 
TREC ETE FT kT 


given by Eq. (5.1). 
end for 
end for 
compute the length G of the tour constructed 
by the kth ant. 
for each edge 
update the pheromone value by Eq. (5.2). 
end for 
end while 
print result. 


Th ae FS FEE BR f 
ER. Br EBA Te GR 


图 5.3 AS 求解 TSP 的 流程 图 和 伪 代 码 


最 后 ,我 们 讨论 一 下 路 径 的 两 种 构建 方式 : 顺序 构建 和 并 行 构建 。 顺 序 构建 是 指 当 
一 只 蚂蚁 完成 一 轮 完 整 的 构建 并 返回 到 初始 城市 之 后 ,下 一 只 蚂蚁 才 开 始 构 建 ;并 行 构建 
是 指 所 有 蚂 尽 同时 开始 构建 ,每 次 所 有 蚂 尽 各 走 一 步 ( 从 当前 城市 移动 到 下 一 个 城市 )。 
两 种 构建 方式 对 AS 算法 来 说 是 等 价 的 ,但 对 于 之 后 的 一 些 改进 ACO 算法 就 不 等 价 了 。 
请 读者 思考 ,图 5.3 所 示 AS 流程 使 用 的 是 哪 种 构建 方式 呢 ? 


5.2.2 应 用 举例 


下 面 通过 一 个 简单 的 TSP 的 例子 ,说 明 蚁 群 优化 算法 的 执行 过 程 。 
例 5.1 给 出 用 蚁 群 算法 求解 一 个 四 城市 的 TSP 问题 的 执行 步骤 ,四 个 城市 ALB. 
C.D ZI mp ES XR Pe AH T. 


3 cx 5 A 

W=d,; = 
| l 5 x 2 
L2 4 2 co 


假设 蚂蚁 种 群 的 规模 闵 王 3 ,参数 a=1,8=2.0=0.5. 


88 


计算 智能 


f. 使 用 蚂蚁 系统 求解 例 5. 1 的 执行 步骤 如 图 5.4 Bro, 


Ak: BEES BAA cs Se FS Bea TE 
(ACDBA), 则 C" = £(ACDBA) =142+443=10. 
求 得 0y-7m/C"-3/10-0.3 。 初 始 化 所 有 边 上 的 
信息 素 Uo. 


步骤 2.1 : 为 每 只 蚂蚁 随机 选择 出 安 城市 ， 
假设 蚂蚁 1 选择 城市 4， 蚂 虹 2 选择 城市 
B. Wine 3 选择 城市 D。 


WAR 22 : 为 每 只 幅 嵌 迁 撞 下 一 访问 城市 。 
T4 DUE, 1 为 例 ， 当 前 城市 =A, V 
问 城市 集合 JG TB.C. D} « 计算 蚂蚁 Lit 
FE B.C, D 作为 下 一 访问 城市 的 概率 : 


人 


Bit “pX Tyg = 03 X (13 =0.033 
A= 
(Dit pX Hy = 0.3 x (1/2P=0.075 


p(B) = 0.033/(0.033+0.3+0.075) = 0.081 
p(C) = 0.3:(0.033+0.3+0.075) = 0.74 
p(P) =0.075/(0.033+0.340.075) = 0.18 
FPO SERERE ERE FAT. 。 假 设 
产生 的 随机 数 q-random(0,1)—-0.05, MARX 1 
将 会 选择 城市 B 。 
用 同样 的 方法 为 蚂蚁 2 303 EFS FP — 1n] 
mug. (Bde 2 选择 城市 五 ， 蚂 蚁 3E 
bith A 。 


步骤 4， 


wee 2.3: 当前 蚂蚁 1 所 在 城市 iB, 路 径 记 忆 向 量 
R'=(4B), 可 访问 城市 集合 JO GC, D}. VERRE 1 
wet? C, DIEA b —B ES : 
nes | A le 
Dt gp X Tap = 0.3! x (1/4 = 0.019 
p(C) = 0.012/(0.012-0.019) = 0.39 
p (D) = 0.019/(0.012+0.019) = 0.61 
Hie di E: USE B Da RIA UE FE PE RUBRI 
Xi q=random(0,1)=0.67, WI] 838 1 将 会 选择 城市 D 。 
用 同样 的 方法 为 蚂蚁 2 和 3 选择 下 一 访问 城市 , 假 
设 蚂 由 2yxepETD C. jb 3 选择 城市 D 。 


步 对 2.4 : 实际 上 此 时 路 径 已 经 构造 完毕 ， 昭 蚁 1 构建 
的 路 径 为 (48DC4 o WEIN 2 构建 的 路 径 为 (8DC4B)。 
uy 3 构建 的 路 径 为 (DACBD) 。 


ee 3: 信息 未 更 新 。 
计算 每 只 蚂蚁 构建 的 路 径 长 庆 : C\=3+4+2+1=10, 
C,74424143210, C3=2+1+5+4=12 。 更 新 每 条 边 上 的 
信息 素 : 3 
tag (1-p)X tigt MATE, = 0.5 X0.3+(1/10+1/10) = 0.35 
k=l 


tic" (0o 7p) X Tact Y ATA. = 0.5 X 0.3+ (1/12)-0.16 
k-i 


如 上 ， 根据 公式 (5.2) fk 5 une zs n AATA 3 E 
AH ia BAE - 


WRR ERRA Minh 2a) Be De ee REET. A. PEPR 2. REET o 


图 5.4 使 用 蚂蚁 系统 求解 例 5. 1 的 步骤 图 示 


5.3 WEHE FAB CRE HRA 


FE Bii th AY 3e o PF A C. £6 D 1] . 3 FR Ss ELI RUE IE S — PS 3 91 ER] CAS , 它 的 性 能 
有 待 提高 。 在 AS EAE Ja AE HE TE SES SC CE «SUE TE BEI WOT HE s s HT S 
域 不 断 扩 张 。 各 种 改进 版 本 的 ACO 拭 法 有 看 各 日 的 特点 ,本 慷 中 我 们 将 介绍 其 中 最 为 
经 明 的 几 个 ,包括 精华 蚂 蛟 系统 (Elitist Ant System. EAS) 、 基于 排列 的 蚂蚁 系 统 (rank- 
based Ant System, AS,,,) , 最 大 最 小 蚂蚁 系统 (MAX-MIN Ant System, MMAS) LJ K BY 
群 系统 (Ant Colony System, ACS), 它们 基本 都 在 20 世纪 90 年 代 提 出 ,虽然 算法 性 能 
在 现在 看 来 不 一 定 是 最 优 的 ,但 这 些 算法 的 思想 是 全 世界 学 者 们 源源 不 断 的 灵感 的 源 果 。 
擎 握 这 些 算法 ,有 助 于 我 们 对 蚁 群 优化 算法 本 号 产生 更 深刻 的 理解 。 


第 5 章 ” 物 群 优化 算法 


5.3.1 精华 蚂蚁 系统 


我 们 回忆 AS 算法 ,蚂蚁 在 其 爬 过 的 边 上 释放 与 其 构建 路 径 长 度 成 反比 的 信息 素 量 ， 
蚂蚁 构建 的 路 径 越 好 ,属于 路 径 的 各 个 边 上 所 获得 的 信息 素 就 越 多 ,这 些 边 在 以 后 的 迭代 
中 被 蚂 尽 选择 的 概率 也 就 越 大 。 但 我 们 不 难 想象 , 当 城 市 的 规模 较 大 时 ,问题 的 复杂 度 呈 
指数 级 增长 ,仅仅 靠 这 样 一 个 基础 单一 的 信息 素 更 新 机 制 引导 搜索 偏 问 ,搜索 效率 有 瓶 
摧 。 我 们 能 否 通 过 一 种 “额外 的 手段 ”强化 菜 些 最 有 可 能 成 为 最 优 路 径 的 边 ,让 蚂 由 搜索 
的 范围 更 快 、 更 正确 地 收敛 呢 ? 

答案 是 肯定 的 ,精华 蚂蚁 系统 (Elitist Ant System,EAS) 是 对 基础 AS 的 第 一 次 改 
进 , 它 在 原 AS 信息 素 更 新 原则 的 基础 上 增加 了 一 个 对 至 今 最 优 路 径 的 强化 手段 。 在 每 
轮 信息 素 更 新 完毕 后 ,搜索 到 至 今 最 优 路 径 ( 我 们 用 表示 ) 的 那 只 蚂蚁 将 会 为 这 条 路 
径 溧 加 额外 的 信息 素 。EAS 中 城市 i 与 城市 的 相连 边 上 的 信息 素 量 (i,j)) 的 更 新 按 如 
下 公式 进行 : 


tTlisj) = (1 — po) * lij) -+ B» Ar, CE S3) + eA CES 3) 
k=] 


AT, (i7) = 其 他 


(C, !, G. FERRE T, 上 
iP 其 他 
除了 式 (5.2) 中 的 各 个 符号 定义 ,在 EAS 中 ,新 增 了 AG ,并 定义 参数 e 作为 A; (i,j) 
的 权 值 。C 是 算法 开始 至 今 最 优 路 径 的 长 度 。 可 见 ,EAS 在 每 轮 迭 代 中 为 属于 T, 的 边 
增加 了 额外 的 e/C 的 信息 素 量 。 

引入 这 种 额外 的 信息 素 强 化 手段 有 助 于 更 好 地 引导 蚂蚁 搜索 的 偏 问 ,使 算法 更 快 收 
M. Dorigo 等 人 对 EAS 求解 TSP 问题 进行 了 实验 仿真 2 ,结果 表明 在 一 个 合适 的 参数 
e 值 作 用 下 (一 般 设 置 e 等 于 城市 规模 n) ,EAS 有 着 较 AS 更 高 的 求解 精度 与 更 快 的 进化 
速度 。 


5.3.2 基于 排列 的 蚂蚁 系统 


人 们 的 思想 总 是 与 时 俱 进 的 ,在 精华 蚂蚁 系统 锌 提出 后 ,我 们 又 会 思考 ,有 没有 更 好 
的 一 种 信息 素 更 新 方式 , 它 同样 使 得 T, 各 边 的 信息 素 浓 度 得 到 加 强 , 且 对 其 余 边 的 信息 
系 更 新 机 制 亦 有 改善 ? 

基于 排列 的 蚂蚁 系统 (rank-based Ant System. AS.) BL -E ix FE — Rl B t WU. TE 
AS 的 基础 上 给 蚂蚁 要 释放 的 信息 素 大 小 An (i,7) 加 上 一 个 权 值 ,进一步 加 大 各 边 信 息 
素 量 的 差异 ,以 指导 搜索 。 在 每 一 轮 所 有 蚂蚁 构建 完 路 径 后 ,它们 将 按照 所 得 路 径 的 长 短 
进行 排名 ,只 有 生成 了 至 今 最 优 路 径 的 昭 蚁 和 排名 在 前 (w 一 1) 的 蚂蚁 才 被 允许 释放 信息 
素 MW EG. ;) 上 释放 的 信息 素 Ac, (i, 丫 的 权 值 由 蚂蚁 的 排名 决定 。ASwn 中 的 信息 
系 叶 新 规则 如 公式 (5.4) 所 示 : 


D ); Q(Q,)cR 
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ar] 


(O's Gu) cR 
0, 其 他 (5. 4) 
(CG... GD ERE E, E 
0, 其 他 

构建 至 今 最 优 路 径 T, 的 蚂蚁 (该 路 径 不 一 定 出 现在 当前 迭代 的 路 径 中 ,各 种 蚁 群 算 
法 均 假设 蚂蚁 有 记忆 功能 ,至 今 最 优 的 路 径 总 是 能 被 记 住 ) 产 生 信息 素 的 权 值 大 小 为 w, 
它 将 在 T 的 各 边 上 增加 w/C 的 信息 素 量 ,也 就 是 说 ,路 径 1, 将 获得 最 多 的 信息 素 量 。 
其 余 的 ,在 本 次 迭代 中 排名 第 (k= 二 1,2,…,w 一 1) 的 蚂蚁 将 释放 (w 一 &)/C 的 信息 素 。 
排名 越前 的 蚂蚁 释放 的 信息 素 量 越 大 , 权 值 (w 一 k) 对 不 同 路 径 的 信息 素 浓度 差异 起 到 了 
一 个 放大 的 作用 ,AS 能 更 有 力度 地 指导 蚂 蚊 搜索 。 一 般 设 置 w==6，。 

以 往 的 实验 结果 -表明 AS. HU BE AS 以 及 EAS 更 高 的 寻 优 能 力 和 更 快 的 求解 


5.3.3 最 大 最 小 蚂蚁 系统 


在 介绍 最 大 最 小 蚂 蚊 系统 之 前 ,我 们 先 思考 几 个 问题 : 

问题 一 : 对 于 大 规模 的 TSP ,由 于 搜索 蚂蚁 的 个 数 有 限 ,而 初始 化 时 蚂蚁 的 分 布 是 随 
机 的 ,这 会 不 会 造成 蚂蚁 只 搜索 了 所 有 路 径 中 的 小 部 分 就 以 为 找到 了 最 好 的 路 径 , 所 有 的 
蚂蚁 都 很 快 聚集 在 同一 路 径 上 ,而 真正 优秀 的 路 径 并 没有 被 探索 到 呢 ? 

问题 二 : 当 所 有 蚂蚁 都 重复 构建 着 同一 条 路 径 的 时 候 , 意 味 着 算法 已 经 进入 停滞 状 
态 。 此 时 ,不 论 是 基本 AS, EAS 还 是 AS ,之 后 的 迭代 过 程 都 不 再 可 能 有 更 优 的 路 径 出 
现 。 这 些 算法 收 钱 的 效果 虽然 是 “单纯 而 快速 的 ”, 但 我 们 都 懂得 “ 欲 速 则 不 达 ” 的 道理 ,我 
们 有 没有 办 法 利用 算法 停滞 后 的 迭代 过 程 进一步 搜索 以 保证 找到 更 接近 真实 目标 的 
解 呢 ? 

为 了 解决 上 面 的 两 个 问题 ,最 大 最 小 蚂蚁 系 统 (MAX-MIN Ant System. MMAS) 在 
基本 AS 算法 的 基础 上 进行 了 下 列 四 项 改进 。 

(1) 只 允许 迭代 最 优 蚂蚁 (在 本 次 迭代 构建 出 最 短路 径 的 蚂 蚊 ) ,或 者 至 今 最 优 蚂蚁 
释放 信息 系 。 

(2) 信息 素 量 大 小 的 取 值 范围 被 限制 在 一 个 区 间 内 。 

(3) 信息 素 初 始 值 为 信息 素 取 值 区 间 的 上 限 ,并 伴随 一 个 较 小 的 信息 素 蒸 发 速率 。 

(4) 每 当 系 统 进 入 停 沛 状态 ,问题 空间 内 所 有 边 上 的 信息 又 量 都 会 被 重新 初始 化 。 

下 面 我 们 介绍 这 四 项 改进 带 来 的 优势 。 

改进 (1) 借 鉴于 精华 蚂 蚊 系统 ,但 又 有 细微 的 不 同 。 在 EAS 中 ,只 人 允许 至 今 最 优 的 蚂 
IN EC fei 3 ME MMAS 中 ,释放 信息 聚 的 不 仅 有 可 能 是 至 今 最 优 蚂 尽 , 还 有 可 能 
Emit, RE ,和 迭代 最 优 更 新 规则 和 至 今 最 优 更 新 规则 在 MMAS 中 会 被 交替 
使 用 。 这 两 种 规则 使 用 的 相对 频率 将 会 影响 算法 的 搜索 效果 。 如 采 只 使 用 至 今 最 优 更 新 
规则 进行 信息 素 的 更 新 ,搜索 的 导 癌 性 很 强 , 算 法 会 很 快 收敛 到 T 附近 ;反之 ,如 果 只 使 
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用 过 代 最 优 更 新 规则 , 则 算法 的 探索 能 力 会 得 到 增强 ,但 收敛 速度 会 下 降 。 实 验 结果 表 
HHE ,对 于 小 规模 的 TSP 问题 ,仅仅 使 用 迭代 最 优 信息 素 更 新 方式 即 可 。 随 着 问题 规模 
的 增 大 ,至今 最 优 信息 素 规则 的 使 用 变 得 越 来 越 重 要 。 一 种 好 的 方式 是 ,在 算法 迭代 过 程 
中 ,逐渐 加 大 至 今 最 优 更 新 的 概率 。 需 要 指出 的 是 ,计算 智能 领域 的 各 个 算法 大 多 是 不 确 
定 搜索 ,我 们 不 能 完全 通过 理论 的 分 析 就 判断 出 一 种 方法 好 还 是 不 好 ,不 论 是 对 遗传 算 
法 、 蚊 群 优化 算法 还 是 下 一 章 将 要 介绍 的 粒子 群 优化 算法 的 研究 与 改进 ,往往 都 是 一 个 
“理论 猜想 一 实验 探索 一 理论 分 析 总 结 ?的 过 程 。 

在 MMAS 中 ,为 了 避免 某 些 边 上 的 信息 素 浓度 增长 过 快 , 算 法 出 现 早 熟 现 象 , 即 所 
有 的 蚂蚁 都 搜索 一 条 较 优 而 不 是 最 优 的 路 径 , 提 出 了 改进 (2)。 信 息 素 量 的 大 小 被 限定 在 
一 个 取 值 范围 Lzwi, s Tma |] 内。 我 们 知道 ,蚂蚁 是 依据 启发 式 信 息 和 信息 素 浓 度 选 择 下 城市 
节点 的 ,其 中 启发 式 信息 为 昌 蚁 当前 所 在 城市 i 到 下 一 可 能 城市 7 的 距离 的 gs 的 倒数 ,由 
于 各 个 d; 的 大 小 是 事先 给 定 的 , 取 值 范围 已 经 确定 ,所 以 当 信 息 素 浓度 也 被 限制 在 一 个 
范围 内 以 后 ,位 于 城市 i 的 蚂蚁 & 选择 城市 7 作为 下 一 城市 的 概率 pi(i,7) 也 将 被 限制 在 
一 个 区 间 内 。 我 们 假设 这 个 区 间 为 Lprin s Pma ,天 于 Prin P px 的 从 有 兴趣 的 读 痢 可 以 
行 求解 ,我 们 在 这 里 仅仅 确定 有 OO Pnin Spr i +) Pima 1. 4 AM 4G AE — 
以 选择 的 城市 时 才 会 有 pwin Paul. ERE, RNE IA Pain Fl Prox AINA). R 
要 知道 O< pus Sb, GE.) S Pax 1 就 可 以 确定 算法 已 经 有 效 避 人 免 了 陷入 停滞 状态 的 可 
能 性 。 

由 改进 (3) 我 们 知道 ,算法 在 初始 化 阶段 ,问题 空间 内 所 有 边 上 的 信息 素 均 被 初始 化 
为 rsx 的 估计 值 , 且 信息 素 蒸 发 速率 非常 小 (在 MMAS 中 ,一 般 将 o 置 为 0.02) ,这 样 一 
来 ,不 同 边 上 的 信息 素 浓 度 差 异 只 会 缓慢 地 增加 ,因此 在 算法 的 初始 化 阶段 ,MMAS A A 
较 基 本 AS, EAS 和 AS.ux 更 强 的 探索 能 力 。 增 强 算法 在 初始 阶段 的 探索 能 力 有 助 于 蚂蚁 
“视野 开阔地 ”进行 全 局 范围 内 的 搜索 ,随后 再 逐渐 缩小 搜索 范围 ,最 后 定格 在 一 条 全 局 最 
RKE. 

改进 (2) 和 (3) 为 我 们 解决 了 本 小 节 开 头 提出 的 问题 一 ,下 面 我 们 讨论 问题 二 的 解决 
方式 ; 改进 (4)。 之 前 的 蚁 群 算法 ,不 论 是 AS.EAS 还 是 AS,。, 均 属于 “一 次 性 探索 ”, 即 
随 着 算法 的 执行 , 某 些 边 的 信息 素 量变 得 越 来 越 小 , 某 些 路 径 被 选择 的 概率 也 越 来 越 小 ， 
系统 的 探索 范围 不 断 减 小 直至 陷 人 停 清 状态。 在 MMAS 中 , 当 算 法 接近 或 是 进入 停 清 
状态 时 ,问题 空间 内 所 有 边 上 的 信息 又 浓度 都 将 被 重新 初始 化 ,从 而 有 效 地 利用 系统 进入 
停滞 状态 后 的 迭代 周期 继续 进行 搜索 ,使 算法 具有 更 强 的 全 局 寻 优 能 力 。 我 们 通常 通过 
对 各 条 边 上 信息 素 量 大 小 的 统计 或 观察 算法 在 指定 次 数 的 迭代 内 至 今 最 优 路 径 有 无 被 更 
新 来 判断 算法 是 否 停 沾 。 

在 本 小 节 的 最 后 ,我们 指出 ,最 大 最 小 蚂蚁 系统 具有 和 较 之 前 各 种 版 本 的 蚂蚁 系统 更 好 
的 性 能 ,是 最 受 关注 的 ACO 算法 之 一 , 它 对 基本 AS 算法 引入 的 四 项 改进 规则 或 思想 常 
常 被 后 续 的 各 种 ACO 算法 借鉴 。 


5.3.4 蚁 群 系统 
前 面 我 们 已 经 介绍 了 三 种 改进 版 本 的 AS 算法 : 精华 蚂蚁 系统 .基于 排列 的 蚂 蚊 系 
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统 和 最 大 最 小 蚂 凡 系 统 , 它 们 均 古 对 基本 蚂蚁 系统 的 信息 双 更 新 规则 做 了 少量 的 修改 而 


获得 了 更 好 的 性 能 。1997 4E. 蚁 群 算法 的 创始 


Dorigo 在 Ant colony system: a 


cooperative learning approach to the traveling salesman problem — 文 :中 提出 了 一 种 
具有 全 新 机 制 的 ACO 算法 一 一 蚁 群 系 统 (Ant Colony System, ACS) ,进一步 提高 了 
ACO 算法 的 性 能 。ACS 是 蚁 群 算法 发 展 史上 的 又 一 里 程 碑 式 的 作品 ,我 们 在 这 一 小 市 


许 细 介绍 改 群 系统 的 工作 沉 程 。 


ACS 与 蚂蚁 系统 的 不 同 主要 体现 在 三 个 方面 : (1) 使 用 一 种 伪 随 机 比例 规则 


(pseudorandom proportional) 选 择 下 一 城市 节点 , 建 
开发 当前 路 径 与 探索 新 路 径 之 间 的 平衡 。(2) 信 息 
素 全 局 更 新 规则 只 在 属于 至 今 最 优 路 径 的 边 上 蒸发 
和 释放 信息 系 。(3) 新 增 信息 素 局 部 更 新 规则 i 
每 次 经 过 空间 内 的 某 条 边 , 它 都 会 去 除 该 边 上 一 定 
量 的 信息 素 , 以 增加 后 续 蚂 蚁 探索 其 余 路 径 的 可 
能 性 。 

一 般 来 说 ,ACS 是 这 样 工 作 的 : 将 m 只 蚂蚁 随 
机 或 是 均 习 地 分 布 在 2 AP MX E. A Jer BE ELS WOR 
据 状 态 转移 规则 硝 定 下 一 此 要 去 的 城市 。 遇 蚊 倾 问 
于 选择 信息 素 浓 度 高 且 距 离 短 的 路 径 。 蚂 蚁 被 设 定 
为 是 有 记忆 的 ,每 只 蚂蚁 都 配 有 一 张 搜索 禁忌 表 , 在 
每 轮 的 遍历 中 ,它们 不 会 去 到 自己 已 经 经 过 的 城市 ， 
日 单个 蚂蚁 在 遍历 过 程 中 会 在 它们 经 过 的 路 径 上 进 
行 信息 素 局 部 更 新 。 在 每 轮 所 有 的 蚂 归 均 完 成 汉 窗 
尔 顿 回路 的 构造 后 , 需 记 录 下 这 些 回 路 中 最 短 的 一 
条 ,并 按照 信息 素 全 局 更 新 规则 增加 这 条 路 径 上 的 
信息 素 。 此 后 算法 反复 迭代 直至 满足 终止 条 件 。 
图 5.5 是 ACS 求解 旅行 商 问题 的 流程 图 ,如 遗传 算 
法 中 有 选择 .交叉 和 变异 三 大 基本 算 子 一 样 ,ACS 中 
有 状态 转移 规则 ,信息 系 全 局 更 新 规则 和 信息 系 局 
部 喝 新 规则 三 大 核心 规则 , 接 下 来 我 们 将 一 一 介绍 。 

1. 状态 转移 规则 


PMCS FID EN is Bae fo 


IAE fe BR ARTE 


对 每 只 蚂蚁 ， 随 机 选择 一 个 
出 发 城市 


8 Fania 
是 
状态 转移 规则 
信息 素 局 部 更 新 规则 
| 
信息 素 全 局 更 新 规则 


图 5.5 ACS 求 解 TSP 的 流程 图 


在 ACS 中 ,位 于 某 个 城市 i 的 某 蚂蚁 会 根据 定义 5. 2 所 示 的 伪 随 机 比例 规则 选择 


FTIRA Jo 


定义 $.2 ACS 中 的 伪 随 机 比例 规则 (pseudorandom proportional): 对 于 每 只 蚂蚁 
&R ,路 径 记 忆 问 量 R* 按照 访问 顺序 记录 了 所 有 上 已 经 经 过 的 城市 序号 。 设 蚂蚁 当前 所 


在 城市 为 i, 则 下 一 个 访问 城市 


arg maX;ej,c 7G 3) ,Lis7) l^ | qq 


j= 
5. 


(5, 9) 


其 他 


其 中 ,J( 引 表示 从 城市 i 可 以 直接 到 达 的 且 又 不 在 蚂 下 访 问 过 的 城市 序列 R* 中 的 城市 


Om MRR 


SA. 1G. DEA B TOG, DRAG. ;7) 上 的 信息 素 量 。B 是 描述 信息 素 浓度 和 

路 径 长 度 信 息 相 对 重要 性 的 控制 参数 。d 古 一 个 L0, 1 区 间 内 的 参数 , 当 产 生 的 随机 数 

gSqo 时 ,蚂蚁 直接 选择 使 启发 式 信息 与 信息 素 量 的 8 指数 乘积 最 大 的 下 一 城市 节点 ,我 

们 通常 称 之 为 开发 (exploitation) ;反之 , 当 产 生 的 随机 数 q— qo HF, ACS 将 和 各 种 AS 算 

法 一 样 使 用 轮 盘 赌 选择 策略 ,公式 (5. 6) 是 位 于 城市 i 的 蚂蚁 选择 城市 7 作为 下 一 个 访 

问 对 银 的 概率 ,我 们 通常 将 q— qo 时 的 算法 执行 方式 称 为 偏向 探索 (biased exploration), 
[7G D InG.j) I 3d Ru 


| + E s i B’ 
yim PAL. su) JL G o | (5. 6) 


0, 其 他 
qo Œ ACS 中 引入 的 一 个 很 重要 的 控制 参数 ,在 ACS 的 状态 转移 规则 中 , 蚂 必 选择 当 
前 最 优 移动 方向 的 概率 为 qo ,同时 ,蚂蚁 以 (1 一 o) 的 概率 有 偏向 地 搜索 各 条 边 。 通 过 调 
整 w ,我 们 能 有 效 调 节 “ 开 发 ”与 “探索 ”之 间 的 平衡 ,以 决定 算法 是 集中 开发 最 优 路 径 附 
近 的 区 域 , 还 是 探索 其 他 的 区 域 ,如 图 5.6 所 示 。 
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图 5.6 ACS 中 的 “开发 ”与 “探索 ” 


2. 信息 素 全 局 更 新 规则 

在 ACS 的 信息 素 全 局 更 新 规则 中 ,只 有 至 今 最 优 蚂蚁 (构建 出 了 从 算法 开始 到 当前 
迭代 中 最 短路 径 的 蚂蚁 ) 被 允许 释放 信息 系 , 这 个 策略 与 伪 随 机 比例 状态 转移 规则 一 起 作 
用 ,大 大 地 增强 了 算法 搜索 的 导向 性 。 在 每 轮 的 迭代 中 ,所 有 蚂 蚊 均 构 建 完 路 径 后 ,信息 
系 全 局 更 新 规则 才 被 使 用 ,由 下 面 的 公式 给 出 : 

rli j) = (1— p)» rli j) +p" AnG,. WVG,DET, (5. 7) 

其 中 OAnG.O-—1/C,. BRIN ce. ASIE IE Tn d RTI ZR AP ve PEM ,都 只 在 属于 至 今 最 优 
路 径 的 边 上 进行 ,这 里 与 AS 有 很 大 的 区 别 。 因 为 AS RRB RN E HI $T 3 
统 的 上 所 有 边 上 ,信息 际 更 新 的 计算 复杂 度 为 OG), m ACS 算法 的 信息 素 更 新 计算 复 灯 
度 降 低 为 O(n). BR o 代表 信息 素 蒸 发 的 速率 ,新 增加 的 信息 素 At, i. D RHE ARE o 
后 ,更 新 后 的 信息 素 浓 度 被 控制 在 旧 信 息 素 量 与 新 释放 的 信息 又 量 之 间 ,用 一 种 隐 含 的 又 
更 向 单 的 方式 实现 了 MMAS 算法 中 对 信息 系 量 取 什 范围 的 限制 。 

同样 ,我们 需要 考虑 在 ACS 中 使 用 迭代 最 优 更 新 规则 和 至 今 最 优 更 新 规则 对 算法 性 
能 造成 的 影响 。 实 验 绪 末 表明 ,在 优化 小 规模 的 TSP 实例 时 ,过 代 最 优 更 新 和 至 今 最 优 
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更 新 两 者 得 到 差不多 的 求解 精度 和 收 钙 速度 ;然而 , 随 关 城市 数目 的 增多 ,使 用 至 今 最 优 
更 新 规则 的 优势 越 来 越 大 ; 当 城 市 数目 超过 100 时 ,使 用 至 今 最 优 更 新 规则 的 性 能 远 远 优 
于 使 用 迭代 最 优 更 新 规则 ,这 与 MMAS 是 类 似 的 。 

3. 信息 素 局 部 更 新 规则 

ACS Æ AS 的 基础 上 进行 的 另 一 项 重大 改进 是 信息 系 局 部 更 新 规则 的 引入 。 在 路 径 
构建 过 程 中 ,对 每 一 只 蚂蚁 ,每 当 其 经 过 一 条 边 (i, 7) 时 , 它 将 立刻 对 这 条 边 进行 信息 素 
的 更 新 ,更 新 所 使 用 的 公式 如 下 : 

一 十 这 [5.8 
其 中 ,上 是 信息 素 局 部 挥发 速率 ,满足 O-EI. yn 是 信息 素 的 初始 值 。 通 过 实验 我 们 发 
BREW 0.1.70 取 值 为 1/(nC™) 时 ,算法 对 大 多 数 实例 有 痢 非 闸 好 的 性 能 。 其 中 为 城市 
个 数 ,C™ 是 由 贪 焚 算法 构造 的 路 径 的 长 度 。 

由 于 m =1/CnC™) Sr, ,公式 (5.8) 所 计算 出 来 的 更 新 后 的 信息 素 相 比 更 新 前 减 
少 了 ,也 就 是 说 ,信息 素 局 部 更 新 规则 作用 于 某 条 边 上 会 使 得 这 条 边 被 其 他 蚂蚁 选 中 的 概 
率 减 少 。 这 种 机 制 大 大 增加 了 算法 的 探索 能 力 , 后 续 蚂 蚊 倾 问 于 探索 未 被 使 用 过 的 边 , 有 
效 地 避免 了 算法 进入 俘 沛 状态 。 

在 前 面 对 AS 的 介绍 中 我 们 曾 提 到 过 顺序 构建 和 并 行 构建 两 种 路 径 构建 方式 ,对 于 
AS 算法 ,不 同 的 路 径 构建 方式 不 会 影响 算法 的 行为 。 但 对 于 ACS, 由 于 信息 素 局 部 更 新 
规则 的 引入 ,两 种 路 径 构 建 方式 会 造成 算法 行为 的 区 别 , 通 常 我 们 选择 让 所 有 蚂蚁 并 行 地 
工作 ,如 图 5.7 所 示 。 
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图 5.7 ACS 中 的 顺序 构建 与 并 行 构建 


在 本 小 万 的 最 后 ,我 们 指出 ,ACS 的 前 身 是 1995 年 Gambardella 和 Dorigo 提出 的 
Ant-Q FUY , ACS 与 Ant-Q 的 区 别 仅 在 于 c 的 取 值 。 在 ACS 中 ro — 1/K(O" ) 为 常 
量 , 但 在 之 前 提出 的 Ant-Q 算法 中 rm 依据 剩余 可 访问 边 中 最 高 的 信息 素 量 定义 。 当 人 们 
发 现 把 co 置 为 一 个 很 小 的 常数 值 亦 能 达到 相当 的 性 能 时 ,Ant-Q 被 淘汰 掉 了 。 我 们 在 这 
里 只 是 想 说 明 , 对 于 致力 于 科学 人 研究 的 人 来 说 ,KISS 是 最 基本 的 思考 方法 。KISS 方法 来 
源 于 美国 的 军队 用 语 , 当 部 下 做 得 不 好 的 时 候 , 长 官 就 会 大 声 训 斥 “Keep It Simple. 
Stupid!1”, 意 思 是 “简单 点 , 答 重 1”, 在 工程 学 和 科研 中 ,这 也 是 非常 适用 的 。 


5.3.5 蚁 群 算 法 的 其 他 改进 版 本 
从 第 一 个 蚂蚁 系统 诞生 至 今 , 收 群 优化 算法 已 经 发 展 了 近 20 年 ,从 意大利 的 一 个 实 
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验 室 传播 到 了 全 世界 千 千 万 万 的 实验 室 中 。 尽 群 算法 作为 一 种 新 兴 的 仿生 学 算法 ,有 春 
鲁 棒 性 强 、 分 布 式 并 行 计 算 .易于 与 其 他 方法 结合 等 优点 ,但 由 于 其 搜索 时 间 较 长 .易于 陷 
和 人 局 部 最 优 ,算法 还 有 竺 进一步 的 改进 。 前 面 , 我 们 介绍 了 精华 蚂蚁 系统 .基于 排列 的 归 
收 系 统 . 最 大 最 小 鲍 改 系统 以 及 疏 群 系统 ,它们 大 多 由 改 群 优化 的 创始 人 Dorigo 以 及 在 
收 群 优化 界 有 着 杰出 责 献 的 Stiitzle 等 人 提出 ,是 经 典 的 蚁 群 算法 改进 版 本 ,是 全 世界 学 
者 们 源源 不 断 的 灵感 的 源 果 。 之 后 世界 上 又 出 现 了 许多 新 的 算法 改进 设计 ,本 小 节 将 介 
绍 这 些 改进 设计 ,包括 一 些 离散 域 羽 群 扯 法 的 改进 人 鲜 完 ,以 及 连续 工 改 和 群 算 法 的 改进 赋 
完 , 硕 望 对 有 兴趣 进一步 饶 究 ACO SIE EA BO AL Be A A SUT E 

1. 近似 非 确 定性 树 搜索 (Approximate Nondeterministic Tree Search. ANTS) 

ANTS 的 名 字 来 源 于 这 种 算法 类 似 一 种 近似 非 确定 性 树 搜索 ,ANTS 在 三 个 方面 对 
AS 算法 进行 了 修改 : 它 使 用 部 分 解 的 完全 代价 估计 的 下 界 来 计算 各 边 的 启发 式 信息 ; 它 
使 用 加 法 而 非 乘法 来 实现 启发 式 信息 与 信息 素 的 结合 ;没有 直观 的 信息 素 蔡 发 步骤 ,信息 
系 增 加 量 的 计算 公式 也 与 之 前 各 种 ACO 算法 很 大 不 同 。ANTS 算法 在 它 的 第 一 访 文 献 
以 及 后 续 人 研究 中 ,很 少 有 化 应 用 于 TSP, 大 多 数 有 关 ANTS 的 文献 郡 关 注 于 二 次 分 配 问 
题 , 它 在 这 个 领域 中 有 着 很 好 的 计算 结果 ” , 

2. 多 态 蚁 群 算法 (Polymorphic Ant Colony Algorithm, PACA) 

实际 上 ,自然界 中 的 蚊 群 是 有 组 织 有 分 工 的 ,这 种 和 目 组 织 分 工 方式 对 尽 群 完成 复杂 的 
任务 起 痢 十 分 重要 的 作用 。 我 国 的 徐 精明 等 人 在 文献 L34j] 中 提出 了 一 种 多 态 改 群 算法 ， 
将 及 和 群 中 的 蚂蚁 分 为 三 类 : 侦查 疏 、 搜 索 归 和 工 疏 。 侦 查 慌 的 任务 是 在 算法 初期 以 每 个 
城市 为 中 心 做 局 部 区 域 观 察 ,并 将 侦查 结果 与 已 有 的 先 验 知 识 结合 ,生成 侦查 素 , 问 题 空 
间 内 各 边 的 初始 信息 素 量 与 侦查 素 有 关 。 搜 索 蚁 是 各 类 传统 蚊 群 算法 通 第 所 指 的 蚂 收 ， 
它 根据 局 发 式 信息 和 信息 素 选 择 下 一 城市 节点 ,直至 构建 出 最 佳 路 径 。 工 蚊 只 负责 从 已 
经 找到 的 最 优 路 人 符 上 搬运 食物 ,与 算法 最 优 路 径 的 寻找 无 天 。 文 献 L34j 中 选用 TSPLIB 
中 的 Oliver30 fF Ati AE Bi, XT PACA 与 AS 进行 性 能 的 对 比 ,实验 箔 术 表 明 , 在 搜索 到 
相同 结果 的 情况 下 ,PACA 所 需 的 迭代 次 数 比 基本 AS 要 少 很 多 。 

3. RAAT A AB SK (Clustering Processing Ant Colony Algorithm,CPACA) 

我 们 知道 BUEE SE LEONE SIS ERER I ite IT 18 I8] UE 3E A 4T IS EE. AK, QR dx 
们 找到 一 种 方式 ,将 大 规模 的 TSP 分解 为 小 规模 子 问 题 分 别 用 蚁 群 算法 进行 求解 ,再 将 
各 个 小 规模 子 问题 的 解 合 并 , 便 可 高 效 地 得 到 原 待 求解 问题 的 解 。CPACA 就 是 这 样 一 
种 方法 , 它 对 城市 空间 进行 聚 类 人 处理, 在 每 一 个 类 中 用 蚁 群 算法 求 得 类 内 最 短路 径 , 随 后 
将 各 个 类 的 中 心 看 成 一 个 TSP 也 用 疏 群 算法 求解 得 类 间 最 短路 径 ,最 后 确定 每 个 类 的 边 
界 城市 ,通过 边界 城市 将 各 个 类 连接 起 来 。 文 献 [35j 中 的 实验 结果 表明 ,CPACA 的 性 能 
优 于 基本 蚁 群 算法 。CPACA 示意 图 如 图 5.8 所 示 。 

4. 连续 正 交 蚁 群 算法 (Continuous Orthogonal Ant Colony. COAC) 

近年 采 ,将 应 用 领域 扩展 到 连 组 空间 的 尽 群 算法 也 在 发 展 , 连 组 正 交 归 群 怠 是 其 中 比 
较 优秀 的 一 种 。COAC 通过 在 问题 空间 内 自 适 应 地 选择 和 调整 一 定数 量 的 区 域 ,并 利用 
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图 5.8 CPACA 示意 图 


蚂 蚊 在 这 些 区 域内 进行 正 交 搜索 、 在 区 城 间 进行 状态 转移 ,并 更 新 各 个 区 域 的 信息 系 来 搜 
系 问 题 空 间 中 的 最 优 解 。COAC 的 基本 思想 是 利用 正 交 试验 的 方法 将 连续 空间 离散 化 。 
文献 [29 ] 中 的 实验 结果 表明 , COAC 的 性 能 优 于 之 前 的 连续 蚁 群 算法 APIS 和 
CACO, 


5.4 WERKSAAM 


IRE DLAC A 1991 年 由 Dorigo 提出 并 应 用 于 TSP 问题 以 来 ,已 经 发 展 了 近 20 
年 。 由 于 具有 重 俯 性 强 、 全 局 搜索 、 并行 分 布 式 计算 、 易 与 其 他 方法 缩合 等 优点 ,近年 来 
ACO 的 应 用 领域 不 断 扩 张 ,如 车 间 调 度 问 题 , 和 车 辆 路 径 问 题 ,分 配 问 题 、 于 集 问 题 , 网 络 路 
由 问题 . 集 日 质 折 蕾 问 题 数据 挖 据 、 图 像 识 别 、 系 统 辨 识 每 。 这 些 问 题 大 多 是 NP 难 的 组 
合 优化 问题 ,用 传统 算法 难以 求解 或 无 法 求解 ,各 种 蚁 群 算法 及 其 改进 版 本 的 出 现 ,为 这 
些 难 题 提 供 了 有 效 而 高 效 的 解决 手段 。 

本 市 将 列举 ACO 的 经 时 应 用 ,有 兴趣 致力 于 天 群 优化 应 用 人 研究 的 谈 者 或 是 算法 爱 
好 者 可 以 进一步 深入 地 阅读 我 们 列 出 的 参考 文献 。 

1. 车 间作 业 调 度 问题 

车 间作 业 调 度 问 题 (Job-Shop Scheduling Problem,JSP) 是 生产 与 制造 业 的 核心 问 
题 , 它 的 本 质 是 在 时 间 上 合理 地 分 配 系统 的 有 限 黄 源 , 以 达到 特定 的 目标 。 鼻 型 的 JSP 
包括 一 个 待 加 工 的 零件 集合 ,每 种 零件 都 有 一 个 工序 集合 ,为 了 完成 各 个 工序 ,需要 在 多 
台 机 各 上 执行 操作 。 调 度 的 目的 就 是 为 各 个 零件 合理 地 分 配 机 床 等 资源 ,合理 地 安排 加 
工时 间 ,在 满足 一 些 现实 约束 条 件 的 同时 ,达到 某 些 目 标的 最 优化 。 车 间 调 度 问 题 是 一 个 
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NP 难 问 题 ,包括 的 种 类 也 很 多 , 改 群 优化 算法 在 解决 不 同类 别 的 JSP 时 所 表现 出 来 的 性 
能 也 往往 有 一 些 差异 。 不 过 总 的 来 说 ,ACO 是 针对 JSP 的 各 种 求解 方法 中 非常 优秀 的 一 
种 ,JSP Æ ACO 的 应 用 人 研究 中 处 于 一 个 比较 核心 的 地 位 ,如 表 5. 3 所 示 。 
表 5.3 蚁 群 优化 算法 在 车 间 调 度 问 题 中 的 应 用 

工序 车 间 问 题 Job-shop scheduling problem, JSP [10] 

开放 车 间 问 题 Open-shop scheduling problem, OSP [37]L38] 

排列 流 车 间 问 题 Permutation flow shop problem, PFSP [39] 

单机 器 总 延迟 问题 Single machine total tardiness problem. SMTTP [40] 


EAL ait As XC E UE s [1] pel Single machine total weighted tardiness problem. SMTWTP | [41]—[43] 


资源 受 限 项 目 调度 问题 Resource-constrained project scheduling problem, RCPSP [44] 

2H ^F [R] 38] BE [P] f Group-shop scheduling problem, GSP [38][45] 
带 序列 依赖 设置 时 间 的 单 | Single-machine total tardiness problem with sequence [46] 

DL sir Ass HE [rn] Ret dependent setup times, SMTTPDST i 


上 E vv | 


2. 车 辆 路 径 问 题 

JE S EE 42 [A] eC Vehicle Routing Problem,VRP) 是 运输 组 织 优 化 的 核心 问题 ,人 它 的 一 
Wd yb E: 对 一 系列 指定 的 客户 ,确定 车 辆 配送 行驶 路 线 , 使 得 车 辆 从 贷 仓 出 发 ,有 厅 地 
经 过 一 系列 客户 点 ,并 返回 贫 仓 。 要 求 在 满足 一 定 约束 的 条 件 下 (如 和 车辆 载重 、 客 尸 需 求 、 
时 间 窗 等 ), 使 总 运输 成 本 最 小 。 从 VRP 的 定义 中 我 们 不 难 发 现 , VRP 实际 上 包含 了 
TSP 作为 它 的 子 问题 ,VRP 也 是 一 个 NP 难 问题 ,日 它 涉及 了 更 多 的 约束 , 比 TSP E 
解 。 近 年 来 ,学者 们 对 利用 蚁 群 优化 算法 解决 各 种 VRP 问题 进行 了 大 量 的 研究 ,取得 了 
FEKRR. WK 5.4 所 示 。 

X 5.4 蚁 群 优化 算法 在 车 辆 路 径 问 题 中 的 应 用 


有 容量 限制 的 VRP Capacitated vehicle routing problem, CVRP [47 ]—[49] 
多 车 场 VRP Multi-depot vehicle routing problem, MDVRP [50] 
周期 性 VRP Period vehicle routing problem, PVRP [51] 

分 离 配 送 VRP Split delivery vehicle routing problem, SDVRP [52] 

随机 需求 VRP Stochastic vehicle routing problem, SVRP [53] 

集 货 送 货 一 体 化 VRP Vehicle routing problem with pick-up and delivery. VRPPD [54][55] 
有 时 间 窗 的 VRP Vehicle routing problem with time windows. VRPTW [54 ]— [58] 
其 他 Others een 
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3. 其 他 方面 的 应 用 

当今 蚊 群 优化 鼻 法 的 应 用 领域 非常 地 三 这 , 表 5.5 列 出 了 ACO 鼻 法 在 分 配 问 题 、 网 
络 路 由 问题 子 集 问题 .最短 公共 超 订 列 问题 、 二 维 格 模 型 重 日 质 折 羞 问题 .数据 挖掘 、 图 
像 处 理 .系统 辨识 等 各 个 应 用 领域 的 相关 参考 文献 。 


25.5 蚁 群 优化 算法 在 其 他 方面 的 应 用 


二 次 分 配 问 题 Quadratic assignment problem, QAP [20][22][59] 
| 广义 分 配 问 题 Generalized assignment problem, GAP [60][61] 
分 配 问题 一 
频率 分 配 问 题 Frequency assignment problem, FAP [23 |[62] 


元 余 分 配 问题 Redundancy allocation problem, RAP [63 


有 回 连接 网 络 路 由 Connection-oriented network routing [64] 
网 络 路 由 | 无 连接 网 络 路 由 Connectionless network routing [65 ]—-[67 ] 


光纤 网 络 路 由 Optical network routing [68] 
集合 覆盖 问题 Set covering problem, SCP | 69 |[ 70 | 
集合 分 离 问 题 Set partition problem. SPP [71] 


— 带 权 约 束 的 图 树 分 害 ^ a graph tree partition problem. [72] 
边 带 权 六 基数 问题 Arc-weighted /-cardinality tree problem，AWZICTP | [73] 
ZH B) [n] a Multiple knapsack problem, MKP [74] 
最 大 独立 集 问 题 


最 短 公 共 超 序列 问题 Shortest common supersequence problem, SCSP | [76] 


Maximum independent set problem, MIS [75 | 


— 2 dép Be AOL EA UR DT ER [n] 2D HP protein folding problem, 2D-HP-PFP [77 | 


系统 辨识 System identification [ 82 |[ 83 | 


i 
5.5 峻 群 优 化 算法 的 参数 设置 


新 面 的 章节 已 经 提 到 ,参数 的 设置 对 蚊 群 优化 算法 的 搜索 性 能 有 着 较 大 影响 。 在 这 
一 节 我 们 简要 讨论 ACO 中 各 个 参数 的 意义 以 及 经 验 设置 。 表 5.6 所 示 的 是 绝 大 多 数 
ACO 算法 都 具有 的 参数 变量 的 设置 , 表 5.7 所 示 的 是 某 些 ACO 算法 中 特有 的 、 经典 的 参 
数 变 量 的 设置 。 
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表 5.6 各 种 蚁 群 优化 算法 共有 参数 的 经 验 设 置 


参数 参考 设置 J 表示 参数 的 意义 。 表示 参数 的 经 验 设置 
J 影响 着 算法 的 搜索 能 力 和 计算 量 。 
。 蚂蚁 数目 过 多 时 ,每 轮 迭 代 的 计算 量 大 、. 且 被 搜索 过 的 路 径 上 信息 素 变化 比较 平 
均 ,此 时 算法 的 全 局 随机 搜索 能 力 得 到 增强 ,但 收敛 速度 减 慢 。 
蚂蚁 数目 m | 。 蚂蚁 数目 过 少时 ,算法 的 探索 能 力 变 差 ,容易 出 现 早 熟 现 象 。 特 别 是 当 问题 规模 很 
大 时 ,算法 的 全 局 寻 优 能 力 会 变 得 十 分 糟糕 。 
。 Dorigo 等 人 的 实验 [5 表明 ,在 用 AS. EAS, AS. 和 MMAS 求解 TSP 问题 时 ,mm HX 
值 等 于 城市 数目 ”算法 有 较 好 性 能 ;而 对 于 ACS,m=10 比较 合适 
J ”决定 算法 搜索 的 导向 ,影响 算法 的 搜索 能 力 。 
售 自 素 权重 | “ 越 小 ,最 邻近 城市 被 选中 的 概率 越 大 ,蚂蚁 越 注重 “眼前 利益 ”a 一 0 时 ,算法 等 
xem 同 于 随机 贪 禁 算法 。 
信息 权重 8 。 8 越 小 ,蚂蚁 越 倾向 于 根据 信息 素 浓度 确定 路 径 , 算 法 收敛 越 快 。B 二 0 时 ,构建 出 
"a 的 最 优 路 径 与 实际 目标 有 着 较 大 差异 ,算法 的 性 能 比较 糟糕 。 
。 Dorigo 等 人 的 实验 "中 表明 ,在 各 类 ACO 算法 中 设置 a—1.9—2—5 比较 合适 
J 影响 蚂蚁 个 体 之 间 相 互 影 响 的 强 弱 ,关系 到 算法 的 全 局 搜索 能 力 和 收敛 速度 。 
。 0 较 大 时 ,信息 素 挥发 速率 大 ,那些 从 未 被 蚂蚁 选择 过 的 边 上 的 信息 素 急剧 减 小 到 
Bm 接近 0, 降 低 算法 的 全 局 探索 能 力 。 
。 0 较 小 时 ,算法 具有 较 高 的 全 局 搜索 能 力 , 但 是 由 于 各 个 路 径 的 信息 素 浓 度 差 距 拉 
大 较 慢 , 算 法 收敛 速度 较 慢 。 
。 Dorigo 等 人 的 实验 "表明 ,对 于 AS 和 EAS,o 一 0. 5; 对 于 ASsu,o 一 0. 1; 对 于 
MMAS,p 二 0.02; 对 于 ACS,p 二 0.1, 算 法 的 综合 性 能 较 高 
J ”决定 算法 在 初始 化 阶段 的 探索 能 力 ,影响 算法 的 收敛 速度 。 
。 oc 太 小 ,未 被 蚂 蚊 选择 过 的 边 上 信息 素 太 少 ,蚂蚁 很 快 就 全 部 集中 在 一 条 局 部 最 优 
aah Be 的 路 径 上 ,算法 容易 早熟 。 
x AS Le n 太 大 ,信息 素 对 搜索 方向 的 引导 能 力 增长 得 十 分 缓慢 ,算法 收敛 慢 。 
* Dorigo SEA SC B ^ HE TE: 对 于 AS, to — m/C" ;对 于 EAS, to — Cedo m) /pC" ;对 
CT AS 7o 70. 5r(r— 1)/pC" ; MF MMAS, r, =1/0C™ ;对 于 ACS, 0 = 1/nCv 
(各 个 变量 符号 的 定义 与 本 章 5.2 节 和 5.3 节 中 所 述 一 致 ) 
J ”决定 算法 运行 何 时 结束 ,由 具体 的 应 用 和 问题 本 身 确定 。 
nigi || 将 最 大 循环 数 设 定 为 500、1000、5000, 或 者 最 大 的 函数 评估 次 数 ,等 等 。 
TOT 。 也 可 以 使 用 算法 求解 得 到 一 个 可 接受 的 解 作 为 终止 条 件 。 
。 或 者 是 当 算法 在 很 长 一 段 和 迭代 中 没有 得 到 任何 改善 时 ,可 以 终止 算法 
表 5.7 蚊 群 优化 算法 中 其 他 一 些 经 典 参 数 的 经 验 设置 
S$ 数 参考 设置 J 表示 参数 的 意义 。 表示 参数 的 经 验 设置 
| Jo 影响 算法 的 全 局 搜索 能 力 和 收敛 速度 。 
E | M uM 
SESS TEM. d GAS de M det 
"— r /影响 算法 的 全 局 搜索 能 力 。 


信息 素 局 部 挥发 因子 


伪 随 机 因子 qo 


* 在 MMAS 中 ,参数 rs 设置 为 rs 二 25 

”决定 蚂蚁 搜索 时 相互 影响 的 强度 ,影响 算法 的 全 局 搜索 能 力 。 

* 在 ACS 中 ,参数 & 设 置 为 E=0.1 

Jo 决定 算法 “开发 ”与 “探索 ”的 相互 关系 ,影响 算法 的 全 局 搜索 能 力 
和 收敛 速度 。 

* 在 ACS 中 ,参数 g, KAA q =0.9 
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5.6 ASS wp 


请 指出 蚁 群 优化 算法 的 基本 思想 来 源 。 

请 绘制 蚂蚁 系统 的 流程 图 ,并 描述 算法 执行 过 程 的 基本 步骤 。 

蚁 群 系统 在 蚂蚁 系统 的 基础 上 新 添加 的 信息 素 局 部 更 新 规则 有 什么 作用 ? 
.随机 比例 规则 和 伪 随 机 比例 规则 的 区 别 是 什么 ”思考 为 什么 蚁 群 系统 要 使 用 伪 
上 例 规则 ? 

5. 通过 查阅 相关 参考 文献 ,了 解 蚁 群 优化 算法 在 车 间 调 度 问 题 中 的 应 用 ,并 完成 


TT 


s 


X 5.8 车 间 调 度 问 题 与 蚁 群 优化 算法 中 各 要 素 的 对 应 


车 间 调 度 问 题 蚁 群 优化 算法 
AF 

HLR 

工序 

操作 

加 工时 间 


6. 如 果 现 在 有 人 辣 你 请 教 蚁 群 优化 算法 的 应 用 领域 有 哪些 ,你 将 如 何 加 他 介绍 ? 
7. Adm xh TE ACO FSA apo 对 算法 性 能 的 影响 。 

8. 上 机 编写 完整 的 ACO 程序 ,实现 对 例 5. 1 完整 的 求解 。 

9. 〈 开 放 性 问题 ) 对 于 蚁 群 优化 算法 ,你 能 目 己 设计 出 一 种 改进 方案 吗 ? 
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粒子 群 优化 算法 


ERE. 鱼 群 的 迁徙 、 苋 食 等 群体 行 
为 是 一 个 优化 现象 吗 ? 是 一 种 优化 行为 
吗 ? 这 能 够 为 我 们 设计 最 优化 算法 提供 
灵感 吗 ? 


乌 群 、 鱼 群 的 迁 徒 、 吏 食 等 行 
为 属于 群体 智能 行为 ， 本 映 是 一 个 
最 优化 的 过 程 。 通 过 模拟 这 些 群体 
省 能 行为 ， 并 融入 社会 心理 学 的 个 
体 认 知 和 社会 影响 等 概念 ， 研 究 者 
提出 了 一 种 称 为 粒子 群 优化 算法 
(Particle Swarm Optimization, PSO) 
的 群体 智能 算法 。 
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大 自然 是 我 们 的 老师 ,生物 进化 过 程 、 群 体 智能 活动 等 为 我 们 设计 一 个 又 一 个 的 
优化 算法 提供 了 灵感 的 源 果 。 粒 子 群 优化 算法 (Particle Swarm Optimization, PSO) 就 
是 仿生 算法 的 一 个 著名 代表 。 它 是 一 种 模拟 自然 界 的 生物 活动 以 及 群体 智能 的 随机 
搜索 算法 。 因 此 粒子 群 优 化 算法 一 方面 吸取 了 人 工 生 命 (Artificial Life) , £5 SEE 95 f 
(Birds Flocking) 、 鱼 群 尝 习 (Fish Schooling) AI #¥ H 16 (Swarm Theory) 的 思想 ,为 一 方 
面 又 具有 进化 算法 的 特点 ,和 遗传 算法 .进化 策略 .进化 规划 等 算法 有 相似 的 搜索 和 
优化 能 

本 和 草 将 对 料 子 群 优 化 算法 进行 介绍 ,从 算法 的 思想 来 源 、 基 本 流程 改进 版 本 .算法 应 
用 和 参数 设置 等 儿 个 方面 为 读者 展示 了 PSO 的 有 关 知识 。 具 体 包 括 如 下 的 内 容 ， 

。 粒子 群 优化 算法 的 基本 思想 ; 

。 粒子 群 优化 算法 的 基本 流程 ; 

© 粒子 群 优 化 算法 的 改进 版 本 

。 粒子 群 优 化 算法 的 相关 应 用 ， 

。 粒子 群 优化 算法 的 参数 设置 。 

6.1 粒子 群 优化 算法 向 介 
6.1.1 思想 来 源 

粒子 群 优化 算法 (Particle Swarm Optimization, PSO) 9? fg Ai (hit BIN — P47 x. 
是 由 Eberhart 和 Kennedy F 1995 年 提出 的 一 种 全 局 搜索 算法 ,同时 它 也 是 一 种 模拟 目 
然 界 的 生物 活动 以 及 群体 智能 的 随机 搜索 算法 。 因 此 粒子 群 优 化 算法 一 方面 吸取 了 人 工 
生命 (Artificial Life) , & # 9$ @ (Birds Flocking) , f& # } 2] (Fish Schooling) 和 和 群 理论 
(Swarm Theory) f] 48 28 . 55 — 7j ifi MAA EIE TET BS P es. HU Pe IE LE TCR M aE To 
规划 等 算法 有 相似 的 搜索 和 优化 能 力 。 

粒子 群 优化 算法 的 发 明 , 可 以 说 是 Eberhart M Kennedy 在 供 鉴 前 人 科学 家 对 自然 界 
生物 群体 活动 的 认识 以 及 这 些 活动 行为 计算 机 可 视 化 仿真 的 基础 上 ,并 与 各 自 的 研究 背 
景 知识 相 结 合 的 产物 。Eberhart 是 一 位 电子 电气 工程 师 , Kennedy 是 一 名 社会 心理 学 
家 ,他 们 在 合作 人 研究 PSO 的 时 候 , 目 的 就 是 为 了 将 社会 心理 学 上 的 个 体 认 知 、 社 会 影响 、 
群体 智慧 等 思想 融 人 到 组 织 性 和 规律 性 很 强 的 群体 行为 中 ,开发 一 个 可 以 用 于 工程 实践 
的 优化 模型 和 优化 工具 。 

在 动物 的 群体 行为 中 ,科学 家 们 很 早 就 发 现 了 自然 界 的 马 群 . 兽 群 、 鱼 群 等 在 其 迁徙 、 
捕食 过 程 中 (如 图 6. 1 所 示 ) ,往往 表现 出 高 度 的 组 织 性 和 规律 性 。 这 些 现象 受到 了 高 度 
的 重视 和 广泛 的 关注 ,吸引 看 大 批 生 物 学 家 动物 学 家 .计算 机 科学 家 .行为 学 家 和 社会 心 
理学 家 等 的 深入 研究 。 例 如 1987 年 ,Reynolds ”实现 了 乌 群 运动 的 计算 机 可 视 化 仿真 。 
1990 年 ,动物 学 家 Heppner 和 Grenander“! 也 对 动物 的 群体 活动 规律 进行 了 研究 ,包括 
大 规模 群体 同步 聚合 ,突然 地 改变 方向 ,规律 的 分 散 与 重组 等 相关 的 机 制 和 洪 在 的 规律 。 
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图 6.1 动物 界 中 的 乌 群 . 兽 群 和 鱼 群 


在 群体 智慧 方面 ,社会 心理 学 在 揭示 人 类 以 及 动物 的 群体 活动 过 程 中 所 表现 出 来 
的 智慧 方面 取得 的 研究 成 果 也 被 引入 到 了 PSO P, Wilson? f 20 世纪 70 年 代 就 指 
出 :“ 至 少 在 理论 上 ,在 群体 竟 食 的 过 程 中 ,群体 中 的 每 一 个 个 体 都 会 受益 于 所 有 成 员 
在 这 个 过 程 中 所 发 现 和 累积 的 经 验 ,” 因 此 PSO 直接 采用 了 这 一 思想 。Kennedy 和 
Eberhart" 也 指出 ,他 们 在 设计 PSO 的 时 候 , 除 了 考虑 模拟 生物 的 群体 活动 之 外 ,更 重 
要 的 是 融入 了 个 体 认 知 (Self-Cognition) 和 社会 影响 (Social-Influence) 这 些 社会 心理 学 
的 理论 。 这 些 也 许 是 Kennedy 在 结合 了 上 自身 研究 领域 的 优势 和 社会 生物 学 家 Wilson 
的 启发 的 成 果 。 后 来 在 1996 年 ,Boyd 和 Richerson'? 在 研究 人 类 的 决策 过 程 时 ,也 提出 
了 个 体 学 习 和 文化 传递 的 概念 。 根 据 他 们 的 人 研究 结果 ,人 们 在 决策 过 程 中 使 用 两 类 重 
要 的 信息 : 一 是 自身 的 经 验 , 二 是 其 他 人 的 经 验 。 也 就 是 说 ,人 们 根据 自身 的 经 验 和 他 
人 的 经 验 进行 自己 的 决策 。 这 也 给 PSO 的 合理 性 提供 了 另 一 个 佐证 。 

因此 ,粒子 群 优 化 算法 是 一 种 群体 智能 (Swarm Intelligence. SD 算法, 它 结合 了 动物 
的 群体 行为 特性 以 及 人 类 社会 的 认 知 特性 , 它 的 思想 来 源 如 图 6. 2 所 示 。 


6.1.2 基本 原理 


在 目 然 界 乌 群 捕食 的 过 程 , 小 马 们 是 通过 什么 样 的 机 制 找到 食物 的 呢 ? 事实 上 ,捕食 
的 乌 群 都 是 通过 各 自 的 探索 与 群体 的 合作 最 终 发 现 食物 所 在 的 位 置 的 。 可 以 考虑 这 样 的 
一 个 情景 ,一 群 分 散 的 鸟 在 随机 地 飞行 疯 食 ,它们 不 知道 食物 所 在 的 具体 位 置 ,但 是 有 一 
个 间接 的 机 制 会 让 小 马 知 道 它 当前 位 置 离 食物 的 距离 (例如 食物 香味 的 浓淡 等 )。 于 是 各 
个 小 乌 就 会 在 飞行 的 过 程 中 不 断 地 记录 和 更 新 它 曾 经 到 达 的 离 食物 最 近 位 置 ,同时 ,它们 
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计算 智能 


1987 Œ Reynolds 实现 了 鸟 群 运动 的 计算 机 可 视 化 仿真 Wilson 在 20 世 纪 70 年 代 就 指出 :“ 至 少 在 理论 上 ， 
(1) 飞 离 最 近 的 个 体 ， 以 避免 碰撞 ; RAR AME, 群体 中 的 每 一 个 个 体 都 会 受益 

N CQ Bis 于 所 有 成 员 在 这 个 过 程 中 的 所 发 现 和 累积 的 经 验 。” 
(3) 飞 向 群体 的 中 心 

1990 4E ^ 动物 学 家 Heppner fl] Grenander Boyd 和 Richerson'?! 在 研究 人 类 的 决策 过 程 时 ， 也 提 

也 对 动物 的 群体 活动 规律 进行 了 研究 出 了 个 体 学 习 和 文化 传递 的 概念 。 根 据 他 们 的 研究 结 
包括 大 规模 群体 同步 聚合 , 突然 地 改变 方向 , 规 条， 人 们 在 决策 过 程 中 使 用 两 类 重要 的 信息 : 一 是 目 
律 的 分 散 与 重组 等 相关 的 机 制 和 潜在 的 规律 身 的 经 验 ， 二 是 其 他 人 的 经 验 ” 


群体 行为 群体 智 在 
群体 迁徙 个 体 认 知 
AP) E tL RR 

人 工 生 命 (Artificial Life) 


鸟 群 砚 食 (Birds Flocking) 


| 鱼 群 学 习 (Fish Schooling) 
19954£ , Eberhart 和 Kennedybb 提 出 了 粒子 群 优化 算法 ^V EERETE (Swarm Theory) 


图 6.2 粒子 群 优化 算法 的 基本 思想 来 源 


粒子 群 优化 算法 


过 信息 交流 的 方式 比较 大 家 所 找到 的 最 好 位 置 ,得 到 一 个 当前 整个 群体 已 经 找到 的 最 
m EE 
整个 群体 的 经 验 ,调整 自己 的 飞行 速度 和 所 在 位 置 ,不 断 地 寻找 更 加 接近 食物 的 位 置 ,最 
终 使 得 群体 聚集 到 食物 位 置 。 

在 粒子 群 优化 算法 中 , 鸟 群 中 的 每 个 小 鸟 被 称 为 一 个 “粒子 ”, 通 过 随机 产生 一 定 规 模 
的 粒子 作为 问题 搜索 空间 的 有 效 解 ,然后 进行 迭代 搜索 ,得 到 优化 结果 。 和 小 鸟 一 样 , 每 
个 粒子 都 具有 速度 和 位 置 ,可 以 由 问题 定义 的 适应 度 耻 数 确定 粒子 的 适应 a 
行 迭 代 , 由 粒子 本 号 的 历史 最 优 解 和 群体 的 全 局 最 优 解 来 影响 粒子 的 飞行 速度 和 下 一 
位 置 , 让 粒子 在 搜索 空间 中 探索 和 开发 ,最 终 找 到 全 局 最 优 解 。 鸟 群 况 im 
和 粒子 群 优化 算法 的 基本 定义 如 表 6. 1 所 示 , 而 图 6.3 WA EDAD SARA 
为 到 粒子 群 优 化 算法 的 关系 示意 图 。 


表 6.1 乌 群 砚 食 和 粒子 群 优 化 算法 的 基本 定义 对 照 表 


鸟 群 页 食 粒子 群 优化 算法 
B 搜索 空间 的 一 组 有 效 解 (表现 为 种 群 规 模 N) 
WE 2s [n] 问题 的 搜索 空间 (表现 为 维 数 D) 
飞行 速度 解 的 速度 向 量 v — [vi vivi] 

所 在 位 置 解 的 位 置 向 量 xim Dni x] 


个 体 认 知 与 群体 协作 | 每 个 粒子 i 根据 上 自 喘 历史 最 优 位 置 和 群体 的 全 局 最 优 位 置 更 新 速度 和 位 置 
找到 食物 算法 结束 ,输出 全 局 最 优 解 


x e—a 
e 
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eo o € 
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一 群 分 散 的 鸟 在 随机 地 飞行 砚 食 ,它们 不 知道 食物 所 在 的 具体 oo pc crt i 
位 置 ， 但 是 有 一 个 间接 的 机 制 会 让 小 乌 知道 它 当 前 位 置 离 食物 MASS ROT. 通过 随机 六 生 一 定 规 棕 
的 距离 (例如 食物 的 香味 的 浓淡 等 )。 于 是 各 个 小 鸟 就 会 在 飞行 PURLTUEOSHISDSRUEIIRITDRUM- Ahs 


过 程 中 不 断 地 记录 和 更 新 它 曾经 到 达 的 离 食物 最 近 位 置 ， “一 帮 ， 和 个 粒子 部 共有 速度 和 位 置 ， 可 以上 
E onc 问题 定义 的 适应 度 函 数 确定 粒子 的 适应 值 ， 
H| Hi] ， E fi 13883: fei El S i TLE Be K RRS RP LG 然后 A ERES. 由 粒子 本 身 的 历史 最 优 


到 一 个 当前 整个 群体 已 经 找到 的 最 佳 位 置 。 这 样 ， 每 个 小 乌 在 立 子 的 速 
M ML CN D MA 
找 更 加 接近 食物 的 位 置 ， 最 终 使 得 群体 聚集 到 食物 位 置 


图 6.3 从 鸟 群 竟 食 到 粒子 群 优化 算法 的 关系 示意 图 


6.2 粒子 群 优化 算法 的 基本 流程 


6.2.1 基本 流程 


——— E 井 化 的 过 程 中 维护 两 个 向 量 ,就 是 速 
BE [B] 5E v; — [v] v? ,… ,vr 和 位 置 向 量 x;= 二 [xi r ,… ,x? ,其 中 ;表示 粒子 的 编号 ,也 是 
求解 问题 的 维 数 。 粒 子 的 速度 决定 了 其 运动 的 方向 和 速率 ,而 位 置 则 体现 了 粒子 所 代表 
的 解 在 解 空 间 中 的 位 置 ,是 评估 该 解 质 量 的 基础 。 算 法 同时 还 要 求 每 个 粒子 各 自 维护 一 
个 自身 的 历史 最 优 位 置 向 量 ( 用 pBest 表示 ) ,也 就 是 说 在 进化 的 过 程 中 ,如 果 粒 子 到 达 了 
某 个 使 得 适应 值 更 好 的 位 置 , 则 将 该 位 置 记 录 到 该 粒子 的 历史 最 优 向 量 中 ,而 且 如 果 粒 子 
能 够 不 断 地 找到 更 优 的 位 置 的 话 ,该 问 量 也 会 不 断 地 更 新 。 另 外 ,群体 还 维护 一 个 全 局 最 
优 问 量 ,用 gBest 表示 ,代表 所 有 粒 了 于 的 pBest 中 最 优 的 那个 ,这 个 全 局 最 优 问 量 起 到 引 
导 粒 子 同 该 全 局 最 优 区 域 收敛 的 作用 .。 

粒子 群 优化 算法 和 遗传 算法 相 比 ,没有 了 选择 算 子 ,交配 算 子 和 变异 算 子 站 ,而 仅仅 
是 通过 速度 更 新 公式 和 位 置 更 新 公式 这 两 个 公式 ( 见 公 式 (6.1) 和 公式 (6.2)) 不 断 地 进化 
而 到 全 局 最 优 解 ,因此 ,PSO 的 原理 和 机 制 更 加 人 简单 ,算法 实现 也 相对 的 容易 ,运行 效率 
更 高 。PSO 的 算法 步骤 如 下 所 述 ， 

(1) 初始 化 所 有 的 个 体 ( 粒 子 ) ,初始 化 它们 的 速度 和 位 置 ,并 且 将 个 体 的 历史 最 优 
pBest 设 为 当前 位 置 ,而 群体 中 最 优 的 个 体 作 为 当前 的 gBest。 

(2) 在 每 一 代 的 进化 中 ,计算 各 个 粒子 的 适应 度 清 数值 。 

(3) 如 果 该 粒子 当前 的 适应 度 图 数值 比 其 历史 最 优 值 要 好 ,那么 历史 最 优 将 会 被 当 
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E EE 
前 位 置 所 替代 。 
(4) 如 采 该 粒子 的 历史 最 优 比 全 局 最 优 
要 好 ,那么 全 局 最 优 将 会 被 该 粒子 的 历史 最 
RER. 
(5) 对 每 个 粒子 i SS d 维 的 速度 和 位 
置 分 别 按照 公式 (6. 1) 和 公式 (6. 2) 进 行 更 
新 。 这 两 个 会 式 在 二 维 空 间 中 的 关系 如 
图 6.4 所 示 。 
y? = w X vd +c, X rand? x CpBest? — x?) +c. X rand$ X (gBest* — x?) (6.1) 
x? = xj +v% (6.2) 
(6) 如 果 还 没有 到 达 结 束 条 件 , 转 到 (2) ,否则 输出 gBest 并 结束 。 
在 公式 (6. 1) 中 ,w 是 惯量 权重 (Inertia Weight)" ,一 般 初始 化 为 0.9, 然 后 随 着 进化 
过 程 线性 递减 到 0.4;c! 和 cs 是 加 速 系数 (Acceleration Coefficients 也 称 学 习 因 子 ) ,传统 
Abe BASE 2. 0;rand? 和 rand? 是 两 个 [0,1 |] 区 间 上 的 随机 数 。 需 要 注音 的 是 ,在 更 
新 过 程 中 ,PSO 要 求 采用 一 个 由 用 户 设 定 的 Vos 来 限制 速度 的 范围 ,Vi 的 每 一 维 V4 一 
般 可 以 取 相 应 维 的 取 值 范围 的 1096 ~~20%。 男 外 公式 (6.2) 中 的 位 置 更 新 必须 是 合法 
的 ,所 以 在 每 次 进行 更 新 之 后 都 要 检查 喝 新 后 的 位 置 是 否 在 问题 空间 之 中 ,否则 必须 进行 
修正 ,一 般 的 修正 方法 可 以 是 重新 随机 设 定 或 者 限定 在 边界 。 
PSO 的 流程 图 和 伪 代 码 如 图 6. 5 所 示 。 


图 6.4 PSO 中 粒子 的 速度 与 位 置 在 二 维 
空间 中 的 关系 及 更 新 示意 图 


// 功 能 : 粒子 群 优化 算法 伪 代 码 
// 说 明 : 本 例 以 求 问 题 最 小 值 为 目标 
// 参 数 : NW 为 群体 规模 


procedure PSO 


for each particle i 


随机 初始 化 每 个 粒子 


评估 每 个 粒子 并 得 到 全 局 最 优 


Initialize velocity Vi and position Xi for 


particle i 


4t —— 网 | Evaluate particle i and set pBesti- Xi 
满足 结束 条 件 
end for 
否 gBest=min{pBesti} 


while not stop 
for i=l to N 
Update the velocity and position of 
particle i 


更 新 每 个 粒子 的 速度 和 位 置 


评估 每 个 粒子 的 函数 适应 值 


Evaluate particle i 

if fit (Xi)«fit(pBesti) 
pBesti- Xi; 

if fit (pBesti)<fit (gBest) 
gBest- pBesti; 


更 新 每 个 粒子 历史 最 优 位 置 


更 新 群体 的 全 局 最 优 位 置 end for 
end while 

| print gBest 

结束 end procedure 


图 6.5 PSO 的 流程 图 和 伪 代 码 
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6.2.2 应 用 举例 


下 面 通过 一 个 简单 的 函数 优化 的 例子 ,说 明 粒 子 群 优化 算法 的 执行 过 程 。 

例 6.1 ERR ym f Go x2.) mad ead DEP. 10S ,zs 三 10, 用 粒子 群 优化 算 
法 求解 y 的 最 小 值 ,请 写 出 关键 的 执行 步骤 。 

解 : 使 用 粒子 群 优化 算法 求解 例 6. 1 的 执行 步骤 如 图 6. 6 所 示 。 


步骤 1 : 初始 化 。 A 2 : 粒子 的 速度 和 位 首 更 新 。 
假设 种 群 大 小 是 N=3 ; 在 搜索 空间 中 随机 初始 化 根据 目 身 的 历史 最 优 位 置 和 全 局 的 最 优 位 置 ， 更 新 每 个 
每 个 解 的 速度 和 人 位置， 计算 适应 函数 值 ， 并 且 得 粒子 的 速度 和 位 置 。 
到 粒子 的 历史 最 优 位 置 和 群体 的 全 局 最 优 位 置 。 
p s” = (3, 2) 人 +(-5)*=64+25=89 U=OX vu, te, Xr, X( pBest,—x,)tc, Xr, X (gBest-x,) 
^ [x=(8,-5) lpBest,7-x,- (8, —5) = 0.5x3+0+0=1.5 
w= (-3,-2) [A= (-S)°+9? =25+81=106 Pi 一 "73635x24940924i 70D 
E 1k = (一 9, 9) ee 9) Xx =x, ty, =(8, -5H(1.5,1)=(9.3, —4) 


人 —i5, 383 prr (-8)°=49+64=113 
P3 


pBest,-x,- (-7, -8) U47() X utc, Xr, X( pBesty—XxX,)+c, Xr, X (gBest—x>) 
0.5x (—3)+0+2 X 0.3 x (8—(—5))—6.1 
0.5x (—2)+0+2 X 0.1 x ((—5)-9)= 1.8 
x=, t+0,=(-5,9)+(6.1,1.8)=(1.1, 10.8)=(1.1,10) 


x3=(-7,-8) 


gBest = pBest, — (8, —5) p= v -{ =(6.1,1.8) 


2 


步 又 3 : 评估 粒子 的 适应 度 函 数值 
更 新 粒子 的 历史 最 优 位 置 和 全 局 的 最 优 位 置 。 


—» | “注意 ! 对 于 越界 的 位 置 ， 需 要 进行 合法 性 调整 
fi =9.5°+(—4)?=90.25+16=106.25>f,=89 


万 =89 
1 U4—0) nte Xr, X( pBest4-x4)*c4 X r4 X (gBest-x) 


pBest,-(8, —5) 
*—11244027-1.214100-101.21«106-j sda pad POSTADO XB 14563 
fr h Dir A 3 u X 34042 X 0.8 X ((-5)-(-8))-6.3 Game) 


42610121 ee ! 
| pBest,=X,=(1.1, 10) Xi HC, ee 5355 — E31) 


fi-(-3.5Y«(-1.7212.252.89-15.14«113-f, | u 
f, fs 715.14 @ 是 惯量 权重 ， 一 般 取 [0,1] 区 间 的 数 ， 这 里 假设 为 0.5 
je | c, 和 c, ADH ze E. ia HVE EH 2.0 


ado gin ry All ry ze [0.1] 区 间 的 随机 数 
ore ye oe 


kA: UR RAE. UG eRe Res Re. MU. Fei RR 2 继续 执行 。 


图 6.6 使 用 粒子 群 优化 算法 求解 例 6. 1 的 步骤 图 示 


6.3 ”粒子 群 优化 算法 的 改进 研究 


由 于 粒子 群 优化 算法 的 简单 易 用 、 高 效 实用 , 自 其 提出 以 来 ,受到 众多 研究 者 的 探讨 
和 改进 ,并 且 被 运用 到 了 了 越 来 越 广泛 的 领域 之 中 。 
Eberhart Æ AU F 2004 年 在 进化 计算 的 国际 顶级 期 刊 IEEE Transactions on 


Evolutionary Computation 上 组 织 了 一 个 关于 粒子 群 优化 自 法 的 专刊 (Special Issue) 。 在 


卷首 语 中 ,Eberhart 和 Shi 在 描述 PSO 研究 与 进展 的 时 候 提 到 了 PSO 相关 的 五 个 热点 
和 难点 问题 。 这 五 个 问题 分 别 是 : 算法 的 理论 人 研究、 算法 的 参数 研究 ,算法 的 拓扑 结构 人 研 
A PSO 与 其 他 算法 的 混合 以 及 算法 的 应 用 。 该 Special Issue 刊登 了 7 篇 不 同人 研究 方面 
的 文 音 091 。 可 以 说 ,2004 年 的 Special Issue on Particle Swarm Optimization 对 PSO 算 
WE ACT Se Ae FSR EA PE. OR. EXT 1995 年 以 来 关于 PSO 的 人 研究 进 
展 和 成 果 进 行 了 比较 全 面 和 有 具体 的 综述 和 评价 ;二 来 ,发 表 的 7 篇 文章 对 PSO 进行 了 比 
较 全 面 和 系统 的 完善 与 拓展 ,使 得 算法 性 能 更 加 高 效 , 应 用 范围 更 加 广泛 ;三 来 , 它 为 
PSO 的 进一步 妍 究 和 发 展 提供 了 更 高 的 起 点 ,并 且 指 明了 相关 的 方 铝 。 关 于 PSO 的 研 
守 内 容 和 改进 方 辐 , 我 们 在 图 6.7 中 给 出 了 总结 。 

指 的 是 对 粒子 群 优化 算法 进行 理论 分 析 ,从 数学 | 

推导 上 证 明 算 法 具有 收敛 性 ,能 够 保证 算法 求解 希望 从 理论 上 证 明 算 

算法 理论 研究 | 到 全 局 最 优 解 . 这 种 理论 研究 从 早期 的 静态 分 [0 E 能 力 和 收敛 


Wr. 已 经 逐步 发 展 到 动态 分 析 , 对 保证 算法 的 性 
能 提供 了 理论 依据 。 


PSO 具有 惯量 权重 oo, TUR S C= Co» Be KE 
| E. 种 群 规模 等 参数 。 参 数 分 析 试 图 通过 研究 这 DEMET ot TH PR 
算法 参数 研究 些 参数 对 算法 全 局 搜索 能 力 和 局 部 搜索 能 力 的 影 | 度 理 解 算法 运行 机 理 ， 
| 啊 ， 拷 到 更 好 的 参数 配置 或 者 目 适应 调 参 方 案 ， 提高 算法 性 能 
fe iy St VERE - 


PSO 有 全 局 版 本 和 局 部 版 本 之 分 ,它们 的 不 同 之 | RAER 
| CEt RE ae E HE AS Rr] "ier : AL | 
处 在 于 更 新 速度 的 时 候 采用 整个 种 群 最 优 的 粒子 meekly | SEMEN: 


拓扑 结构 研究 作为 样本 还 是 局 部 邻居 中 最 优 的 粒子 作为 样本 。 [> ad reis 
不 同 的 拓扑 结构 会 影响 算法 局 部 搜索 和 全 局 搜索 
的 能 E 


PSO 目 身 收 伍 速度 快 ， 但 是 容易 落 人 局 部 最 优 。 希望 通过 加 入 一 些 附 
混合 算法 研究 混合 算法 引入 了 进化 算法 中 的 相关 算 子 ， 例 如 —5 加 的 算 子 ,提高 种 群 
ep ind 选择 、 交 叉 、 变 异 等 算 子 ， 或 者 其 他 的 一 些 增 的 多 样 性 以 提高 算法 
加 算法 多 样 性 的 技术 ， 提 高 算法 性 能 。 的 性 能 。 


PSO 简单 易 用 、 性 能 高 效 ， 已 经 得 到 了 广泛 的 应 希望 通过 将 算法 应 用 
用 : 传统 的 应 用 以 连续 领域 的 优化 问题 居多 ， 近 到 各 种 不 同 的 领域 ， 
年 来 ， 将 PSO 离散 化 , 应 用 到 离散 组 合 优化 问题 在 实践 中 检验 算法 的 
中 的 研究 也 频频 出 现 , 算法 应 用 范围 进一步 扩展 。 有 效 性 。 


图 6.7 粒子 群 优化 算法 的 研究 内 容 和 改进 方向 


从 1995 年 提出 到 现在 ,PSO 已 经 经 过 了 十 多 年 的 发 展 和 完善 ,相关 的 理论 全 究 、 算 
法 改进 和 应 用 拓展 都 取得 了 很 大 的 进展 。 无 论 是 研究 队伍 的 规模 发表 的 论文 数量 还 是 
网 上 的 信息 资源 ,发 展 速度 都 很 快 ,PSO 已 经 得 到 了 国际 学 术 界 的 广泛 认可 , 像 IEEE 和 
ACM 等 的 相关 学 术 期 刊 和 国际 会 议 都 对 PSO 的 研究 和 发 展 非 常 重视 。 收 录 PSO 文章 
较 多 ,质量 较 高 的 相关 学 术 期 刊 和 国际 会 议 名 录 如 表 6. 2 所 示 。 
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表 6.2 收录 PSO 科研 论文 较 多 的 学 术 期 刊 和 国际 会 议 一 览 表 


IEEE Transactions on Evolutionary Computation 


IEEE Transactions on Systems. Man and Cybernetics 


IEEE Transactions on ++.. 
学 术 期 刊 | ie 
Machine Learning 
Evolutionary Computation 
IEEE Congress on Evolutionary Computation (CEC) 
IEEE International Conference on Systems, Man, and Cybernetics (SMC) 
ACM Genetic and Evolutionary Computation Conference (GECCO) 
国际 会 议 


International Conference on Ant Colony Optimization and Swarm Intelligence (ANTS) 
International Conference on Simulated Evolution And Learning (SEAL) 


41 X PSO 的 综述 文章 不 断 出 现 ,其 中 较 有 代表 性 的 综述 文章 分 别 于 2001 年 ”和 
2004 年 "中 的 IEEE 进化 计算 国际 会 议 ,2007 年 的 ACM 遗传 与 进化 计算 国际 会 议 ” 上 发 表 。 
同时 ,在 IEEE Transactions on Evolutionary Computation?" 和 Natural Computing >] 4 $ 
名 期 刊 上 也 收录 了 有 关 PSO 的 研究 进展 和 应 用 情况 的 综述 文 草 。 同 时 ,有 关 PSO fx 
作 也 陆续 出 现 ” 。 这 些 文章 和 著作 的 发 表 与 出 现 , 都 为 广大 读者 ,研究 人 员 把 握 PSO 
全 究 的 最 新 进展 动态、 应 用 和 发 展 趋势 提供 了 重要 的 参考 材料 。 此 外 ,有 关 PSO 的 网 络 
资源 也 在 日 益 增 多 ,例如 Particle Swarm Central 就 是 一 个 专门 对 PSO 的 人 研究 进展 和 最 
新 动态 进行 跟 跨 的 网 站 (http://www. particleswarm. info) ,而 且 该 网 站 收集 和 整理 了 很 
多 关于 PSO 的 资源 ,如 各 种 版 本 的 PSO 源 代码 ,PSO 研究 中 的 热点 和 难点 问题 等 。 


63.1 理论 研究 改进 


关于 PSO 的 数学 基础 \ 收 钱 性 和 稳定 性 人 研究 ,最 早 的 比较 权威 的 成 采 可 以 瑚 考 法 国 数 
学 家 Clerc 与 Kennedy 于 2002 年 合作 的 文章 !2 。 此 外 ,Telea2. 在 2003 年 也 对 PSO 的 收 
合 性 和 稳定 性 进行 了 调查 ,研究 与 分 析 , 指 出 PSO 最 终 稳 定 地 收敛 于 空间 中 的 某 一 个 点 ,但 
是 不 能 保证 收敛 到 全 局 最 优 的 点 ,有 时 候 甚至 连 局 部 最 优 也 可 能 不 是 ,而 是 停滞 在 一 个 当前 最 
好 的 位 置 。 在 2006 年 ,Kadirkamanathan 4& A #1 F. van den Bergh 4 AS! Xf PSO 的 研究 和 
数学 分 析 , 已 经 由 以 前 的 廊 态 分 析 深 入 到 了 动态 的 系统 分 析 。 表 6. 3 MERLE MSE VETT TAZA 

表 6.3 粒子 群 优化 算法 理论 研究 一 览 表 


2002 Clerc 与 Kennedy co Elm Boii Bei 在 使 用 了 此 [27 ] 
指出 PSO 最 终 稳 是 地 收 仇 于 空间 中 的 某 一 个 点 ， [28] 
但 不 能 保证 是 全 局 最 优点 

在 动态 环境 中 对 PSO 的 行为 进行 研究 ,由 静态 分 [291 
析 深 入 到 了 动态 分 析 


2003 Trelea 


2006 Kadirkamanathan 等 人 


对 PSO 的 飞行 轨迹 进行 了 跟 中 ,深入 到 了 动态 的 [30] 
系统 分 析 和 收敛 性 研究 


2006 F. van den Bergh 等 人 
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算法 的 理论 研究 与 分 析 , 对 巩固 算法 的 理论 基础 有 重要 的 意义 ,同时 ,在 理论 研究 的 
基础 上 ,可 以 对 粒子 群 优化 算法 的 运行 机 理 进一步 深入 了 解 和 认识 ,对 加 强 和 改善 算法 的 
性 能 有 实际 的 指导 意义 。 


63.2 拓扑 结构 改进 


粒子 群 算 法 的 拓扑 结构 也 称 为 社会 结构 , 指 的 是 算法 中 的 个 体 如 何 进 行 相互 作用 的 
问题 。 群 体 中 的 每 个 个 体 都 在 相互 学 习 , 除 基于 自身 的 认 知 之 外 ,还 在 不 断 地 向 比 自己 更 
好 的 邻居 移动 。 通 过 这 样 的 信息 交流 ,整个 群体 将 能 够 聚集 到 一 个 全 局 最 优 的 位 置 。 
PSO 的 拓扑 结构 是 由 相互 重 闭 的 邻 域 构成 的 ,而 粒子 就 在 这 些 邻 域 之 内 相互 影响 。 因 
此 ,不 同 的 拓扑 结构 的 定义 将 影响 看 粒子 间 信 息 交 流 的 方式 和 信息 流通 的 速度 ,从 而 影 啊 
着 算法 的 性 能 。PSO 的 人 研究 者 普遍 虱 认为 拓扑 结构 对 算法 有 着 重要 的 有 影响, 并且 提 出 了 
众多 的 改进 方案 ,希望 设计 出 性 能 更 好 的 算法 。 图 6. 8 对 关于 PSO 拓扑 结构 改进 的 情况 
进行 了 分 类 与 总 结 。 


i 粒子 群 优化 算法 拓扑 结构 改进 版 本 一 览 图 


静态 拓扑 结构 


m i aw TA UE 
全 局 版 本 : - Suganthan 1999 
. 星 型 结构 最 小 距离 法 
可 部 版 本 : Hu 和 Eberhart 2002 
环 型 结构 重新 组 合法 


其 他 拓扑 结构 


动态 拓扑 结构 


性 会 趋同 法 
Kennedy 2000 


Fully Informed 

Mendes 等 人 2004 
iz >) 

Liang + A, 2006 


WESS TS | Liang 和 Suganthan 2005 
金字 塔 结构 随机 选择 法 
iB dete Kennedy 3& A, 2006 


图 6.8 粒子 群 优化 算法 拓扑 结构 改进 版 本 一 览 图 


1. 静态 折 扑 结构 

早 在 PSO 提出 之 初 ,Kennedy 和 Eberhart 就 已 经 注意 到 了 群体 的 拓扑 结构 对 算法 
的 性 能 有 着 重要 的 影响 。 他 们 在 1995 年 提出 PSO 的 时 候 就 提 到 了 全 局 版 本 
PSO(Global Version PSO,GPSO) 和 局 部 版 本 PSO( Local Version PSO,LPSO) 两 个 主要 
范式 (paradigm)"”。 这 两 种 范式 的 主要 区 别 在 于 社会 网 络 结构 的 定义 的 不 同 。 在 
GPSO 中 ,整个 群体 构成 一 个 “社会 ”, 也 就 是 说 ,粒子 在 进行 速度 和 位 置 更 新 的 时 候 , 将 
会 使 用 自身 的 历史 最 好 位 置 pBest 和 整个 群体 中 最 好 的 位 置 gBest 作为 更 新 的 回 导 。 
而 在 LPSO 中 ,每 个 粒子 了 所 处 的 “社会 ”仅仅 古 一 个 小 的 邻 域 。 这 样 在 LPSO 版 本 中 UBL 
了 于 在 进行 速度 和 位 置 更 新 的 时 候 , 除 了 使 用 目 身 的 历史 最 好 位 置 pBest 之 外 ,还 要 使 用 
邻 域 中 的 最 好 位 置 LBest 作为 更 新 的 问 导 。 由 此 可 见 ,LPSO "P fE 95 8x JH TE SE 3r I8] ST T 
位 置 将 要 比 GPSO 要 多 (因为 在 LPSO 中 每 个 粒子 对 应 的 LBest 很 可 能 是 不 同 的 ,而 在 
GPSO 中 每 个 粒子 对 应 的 gBest 都 是 一 样 的 ) ,所 以 LPSO 的 多 样 性 更 好 ,往往 能 够 在 处 


第 6 章 NTH Mi 


理 复 杂 的 问题 时 表现 出 比 GPSO 更 好 的 人 性能。 图 6.9 给 出 了 GPSO 和 LPSO 中 粒子 的 
更 新 示意 图 。 


在 全 局 版 本 PSO 中 , 每 个 粒子 受到 群体 中 在 局 部 版 本 PSO 中， 每 个 粒子 受到 其 邻 域 

最 优 的 粒子 gBest 的 影响 ， 因 此 所 有 粒子 结构 中 最 优 的 粒子 LBest 的 影响 ， 因 此 整个 

都 将 快速 趋同 该 全 局 最 优 解 。 但 是 这 种 群体 表现 出 更 好 的 多 样 性 ， 不 容易 受到 当 

快速 的 收 合 容易 导致 蜡 法 洛 人 入 局 部 最 优 All = abe CPR a op en] TTA eae È 
GPSO LPSO 


图 6.9 GPSO 和 LPSO 中 粒子 的 更 新 示意 图 


2002 年 ,Kennedy 在 进化 计算 国际 会 议 CEC 上 发 表 了 文章 60 ,提出 了 例如 星 型 结 
EJ . 环 型 结构 AI a ae RS + eS A A YP gh. FF A gE T 
它们 在 PSO 中 的 性 能 。2006 Æ, Kennedy 和 Mendes!*”! th, 4% ix 26 45 Fh Z5 FJ HE Fully 
Informed 的 PSO E £f; fii. ATREA ERARE He 6.4 ETT Y ERA SE. 
同时 ,图 6. 10 给 出 了 这 些 不 同 结构 的 示意 图 。 


表 6.4 不 同 拓扑 结构 特点 比较 


拓 扑 名 称 结 构 特 点 

星 型 结构 任意 两 个 粒子 都 相互 连接 ,如 图 6. 10(a) 所 示 

环 型 结构 每 个 粒子 和 左右 两 个 粒子 相连 ,如 图 6. 10(b) 所 示 

He FE 邻 域 中 仅 有 一 个 粒子 作为 “焦点 ”, 和 其 他 粒子 相连 ,如 图 6. 10(c) 所 示 
B + 诺 依 曼 结构 每 个 粒子 和 平面 网 格 中 的 上 下 左右 四 个 粒子 相连 ,如 图 6. 10(d) 所 示 


2. 动态 拓扑 结构 

尽管 这 些 静态 的 折 扑 结构 已 经 取得 了 很 好 的 人 研究 成 果 , 但 即使 是 LPSO ,也 不 能 解决 
PSO 容易 落 入 局 部 最 优 的 问题 。 研 究 PSO 的 动态 拓扑 结构 是 希望 能 够 通过 在 不 同 的 进 
化 阶段 使 用 不 同 的 拓扑 结构 ,动态 地 改变 算法 的 探索 能 力 和 开发 能 力 ,在 保持 种 群 多 样 性 
和 算法 收 钱 性 上 取得 动态 的 变化 和 平衡 ,以 提高 算法 的 整体 性 能 。 因 此 ,很 多 研究 者 也 致 
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CN 


(a) 星 型 结构 (b) 环 型 结构 (c) IA TAE T (d) B if RESI 


=> fj hia PSO 和 局 部 版 本 PSO 的 收敛 特点 : 

(1) GPSO 由 于 其 很 高 的 连接 大 ,往往 具有 比 LPSO BRAUER RE. (Bae. Peace thik GPSO 付出 了 多 样 性 迅 
速 降低 的 代价 

(2) LPSO 由 于 具有 更 好 的 多 样 性 ， 因 此 一 般 不 容易 落 人 局 部 了 最 优 ， 在 处 理 多 峰 回 题 上 具有 更 好 的 性 能 

L——» 在 解决 具体 问题 的 时 候 ,可 以 遵循 以 下 一 些 规律 

(1) 邻 域 较 小 的 拓扑 结构 在 处 理 复杂 的 、 多 峰值 的 问题 上 具有 优势 ， 例 如 环 型 结构 的 LPSO 

(2) 随 着 邻 域 的 扩大 ,算法 的 收敛 速度 将 会 加 快 ,这 对 简单 的 、 单 峰值 的 问题 非常 的 有 利 , 例如 GPSO 在 这 些 问 题 上 
就 表现 很 好 

(3) 当 : 谍 依 曼 结 构 的 PSO 在 GPSO 和 LPSOQ 两 者 间 取 得 了 一 个 平衡 ， 适 人 台大 多 数 问 题 的 求解 ， 而 且 具 有 民 好 的 性 能 


图 6.10 不 同 拓扑 结构 的 示意 图 
力 于 研究 PSO 的 动态 拓扑 结构 。 其 中 比较 有 代表 性 的 有 Suganthan'**!, Hu 和 
Eberhart" , Liang 和 Suganthan 等 人 ! 淖 提出 的 解决 方案 ,如 表 6.5 所 示 。 


表 6.5 粒子 群 优化 算法 动态 拓扑 结构 研究 一 览 表 


{fF 者 特 后 
Suganthan(1999) ^ 逐步 增长 法 : 根据 进化 代数 将 其 邻居 从 粒子 目 身 逐渐 扩大 到 整个 群体 
Hu A (2002) 8€ 最 小 距离 法 : 每 一 代 中 选择 m 个 “距离 ”最 近 的 粒子 作为 邻居 


Liang $& A (2005) 5*- 重新 组 合法 : 随机 分 成 多 个 小 种 群 进化 了 一 定 代 数 后 重新 随机 组 合 ,继续 进化 
Kennedy 4 A (2006) 随机 选择 法 : 随机 为 每 个 粒子 选择 OK 个 粒子 (包括 目 身 ) 作 为 邻 域 


此 外 ,包括 Kennedy, Clerc 和 Eberhart 等 在 内 的 一 些 人 研究 者 提出 了 一 种 “标准 的 
PSO 算法 ”, 庶 者 可 以 通过 在 Particle Swarm Central 网 站 上 和 下载 Standard PSO 2006 和 
Standard PSO 2007 的 源 代码 (http://www. particleswarm. info/Programs. html)。 这 
里 的 Standard PSO 定义 了 一 种 随机 的 拓扑 结构 。 随 机 拓扑 结构 PSO(Random Topology 
PSO,RPSO) 为 每 个 粒子 定义 一 个 规模 为 kK 的 邻 域 ,该 邻 域内 的 个 体 是 从 整个 群体 中 随 
机 选择 的 (包括 粒子 本 身 )。 在 每 一 代 进 化 中 ,每 个 粒 于 将 在 其 本 身 历 史 最 优 位 置 和 其 对 
应 的 随机 拓扑 邻 域 中 的 最 优 位 置 的 影响 下 进行 速度 和 位 置 的 更 新 。 如 采 在 该 代 的 进化 中 
得 到 的 最 优 解 对 已 经 找到 的 全 局 最 优 解 有 所 改善 ,那么 这 些 拓扑 结构 将 不 会 发 生 改 变 而 
在 下 一 代 继 续 发 挥 作用 。 否 则 ,RPSO 将 在 下 一 代 中 对 每 个 粒子 重新 构造 其 随机 邻 域 ,以 
期 增强 粒子 的 搜索 能 力 , 提 高 算法 的 性 能 。 因 此 ,RPSO 也 可 以 看 做 是 一 种 动态 拓扑 结构 
的 PSO 。 

3. 其 他 拓扑 结构 

在 针对 PSO 的 拓扑 结构 的 众多 改进 版 本 中 ,除了 表面 提 到 的 标准 的 吏 仿 拓扑 结构 和 
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有 关 的 动态 拓扑 纺 构 之 外 ,还 存在 很 多 其 他 的 改进 版 本 ,我 们 将 一 些 和 型 的 改进 方案 列举 
在 表 6.6 中 。 


表 6.6 粒子 群 优 化 算法 其 他 拓扑 结构 研究 一 览 表 


年 度 参考 文献 
2000 Kennedy 社会 趋同 法 (Social Stereotyping) [36] 
2004 Mendes 等 人 Fully Informed PSO [10] 
2006 Liang 等 人 广泛 学 习 策略 CLPSO [37] 


63.3 混合 算法 改进 


A PSO 提出 以 来 ,研究 者 就 不 断 地 通过 将 PSO 算法 和 其 他 搜索 算法 或 者 思想 技术 
相 结合 ,形成 了 形形色色 的 关于 PSO 的 混合 算法 改进 版 本 。 这 些 混合 算法 要 么 融合 了 传 
统 进 化 计算 中 的 有 关 算 子 ,例如 选择 算 子 .交叉 算 子 .变异 算 子 等 ,要么 直接 与 其 他 一 些 搜 
索 算 法 相 结合 ,例如 模拟 退火 算法 .免疫 算法 .差分 进化 算法 .局 部 搜索 算法 等 。 另 外 ,还 
有 不 少 的 改进 形式 是 通过 使 用 一 些 数 学 .物理 学 .生物 学 等 相关 科学 的 一 些 技 术 手 段 对 原 
始 PSO 进行 改进 和 完善 。 图 6. 11 对 这 些 混合 算法 进行 了 分 类 与 总 结 。 相 关 的 算法 特点 
和 参考 文献 如 表 6.7 所 示 。 
选择 算 子 
交叉 算 子 
变异 算 子 
混合 进化 算 子 的 改进 > 进化 规划 


进化 课 略 
蚁 群 算法 


结合 模拟 退火 算法 
| 结合 人 工 免疫 算法 
混合 其 他 搜索 算法 的 改进 vides tati 


合 局 部 搜索 算法 


单纯 性 技术 
函数 延伸 技术 
混沌 技术 
混合 其 他 技术 的 改进 人 人 
小 生境 技术 
物种 形成 技术 


5 | PRES POA RSS Bde 


ba a 


图 6.11 粒子 群 优化 算法 混合 算法 改进 版 本 一 览 图 
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46.7 粒子 群 优 化 算法 混合 算法 研究 一 览 表 


选择 鼻子 


(Selection) 


混合 进 


变异 算 子 
(Mutation) 


结合 差分 进化 算法 


(Differential Evolution) 


结合 局 部 搜索 算法 
(Local Search) 


函数 延伸 技术 


(Function Stretching) 


混沌 技术 
(Chaos Technique) 


量子 技术 


(Quantum Technique) 


协同 技术 


(Cooperative Technique) 


小 生境 技术 
(Niche Technique) 


物种 形成 技术 


(Speciation Technique? 


Angeline(1998)" 沾 将 每 次 迭代 产生 的 新 的 粒子 群 根据 适应 函数 
进行 选择 ,用 适应 度 较 高 的 一 半 粒 子 的 位 置 和 速度 矢量 取代 适 
应 度 较 低 的 一 半 粒 子 的 相应 矢量 ,而 保持 后 者 个 体 极 值 不 变 


Lovbjerg 等 人 (2001) "3 , Chen £ A (2007) 


Andrews(2006) * 对 PSO 中 混合 使 用 变异 算 子 的 算法 进行 了 较 
为 全 面 的 综述 和 比较 


Hendtlass(2001) “对 同一 个 种 群 轮流 地 使 用 PSO 和 DE 进行 
优化 ,结果 表明 这 种 方式 比 单纯 的 PSO 具有 更 好 的 性 能 

Zhang 和 Xie(2003)035 针 对 粒子 的 历史 最 优 pBest 利用 差分 操作 
进行 扰动 ,有 点 类 似 于 变异 ,而 且 是 当 且 仅 当 扰动 后 的 位 置 比 妆 
前 的 pBest 更 优 时 , 才 替 换 pBest 


Liang 和 Suganthan(2005) -在 设计 动态 的 多 种 群 PSO 算法 的 时 
修 , 增 强 了 种 群 的 多 样 性 ,但 是 牺牲 了 快速 收敛 的 能 力 , 因 此 引入 
了 准 牛 顿 法 对 一 部 分 适应 值 较 好 的 IBest 执行 局 部 搜索 操作 


Parsopoulos 5 A (2004) ^ 将 自 适应 改变 目标 函数 方法 用 到 了 
粒子 群 优 化 算法 中 ,以 防止 粒子 群 优化 算法 返回 已 经 找到 的 局 
部 极 值 


Chuanwen 和 Bompard (2005) 以 及 Coelho BM Herrera 
(2007) ^9 ,使 用 混沌 技术 生成 PSO 相应 的 参数 ,包括 惯量 权重 
和 加 速 系数 等 

Liu FA (2005) 7) 采取 混沌 技术 对 当前 的 最 优 位 置 进行 扰动 ,使 
得 最 优 解 质量 进一步 提高 


Sun 4 A (2004) 8 以 及 Mikki 和 Kishk(2006)09 分 别提 出 了 一 
种 具有 "量子 行为 ”的 QDPSO ,他 们 的 算法 改变 了 传统 PSO 在 牛 
顿 空间 中 的 运动 形式 ,而 采用 了 量子 式 的 更 新 方式 对 粒子 的 位 
置 进 行 调整 和 优化 

Yang 等 人 (2004)50 将 量子 的 思想 应 用 于 二 进 制 版 本 的 PSO 中 


Van den Bergh 和 Engelbrecht(2004)02 将 万 维 向 量 分 到 个 独 
立 粒 子 群 中 ,每 个 粒子 群 优化 一 维 向 量 ,评价 适应 值 时 将 分 量 合 
成 一 个 完整 回 量 

Baskar 和 Suganthan (2004) ^" 使 用 S 个 独立 的 粒子 群 ,其 中 前 
S-1 个 粒子 群 根据 “本 粒子 群 ” 迄 今 搜索 到 的 最 优 解 来 更 新 群 中 粒 
子 的 速度 ,而 第 S 个 粒子 群 则 是 根据 “全 部 粒子 群 * 迄 今 搜 索 到 
的 最 优 解 更 新 群 中 粒子 的 速度 


Brits 5 A (20020 U? $1 (2007) 09 #2 HH AY NichePSO 中 ,他 们 采用 
了 一 个 大 的 种 群 开始 在 问题 空间 中 寻 优 , 当 发 现 了 一 个 可 能 的 
最 优 解 或 者 局 部 最 优 解 的 时 候 , 种 群 目 适 应 的 分 裂 , 让 一 小 部 分 
个 体 在 该 解 附近 形成 一 个 小 生境 继续 优化 ,而 剩 下 的 部 分 继续 
在 解 空 间 中 寻 优 ,直到 发 现下 一 个 最 优 解 的 时 候 再 进行 目 适 应 
分 型 ,通过 这 样 的 方式 ,NichePSO 可 以 有 效 地 搜索 到 多 个 最 优 解 


Parrott 和 Li(2006) 将 物种 形成 技术 融 人 到 了 PSO 算法 中 以 
求解 多 峰值 问题 和 跟踪 动态 环境 中 的 多 个 解 


63.4 离散 版 本 改进 


虽然 PSO 是 一 个 非常 适合 于 连续 领域 问题 优化 的 算法 ,并 且 已 经 在 很 多 连续 空间 领 
域 获得 了 相当 成 功 的 应 用 ,但 是 很 多 现实 问题 都 是 定义 在 离散 空间 中 的 ,例如 典型 的 离散 
组 合 问题 就 有 整数 规划 问题 .背包 问题 .皇后 问题 ,旅行 商 问题 .调度 问题 .路 由 问 题 等 。 
为 了 将 PSO 应 用 到 这 些 离散 组 合 问题 ,研究 者 也 在 不 断 地 尝试 将 PSO 离散 化 后 将 算法 
运用 到 离散 领域 (组 合 优化 ) 之 中 。 在 众多 的 离散 PSO 改进 版 本 中 ,二 进 制 编码 PSO 和 
整数 编码 PSO 是 常见 的 两 种 形式 ,另外 还 有 一 些 其 他 的 改进 方案 也 相继 出 现 , 如 图 6. 12 
所 示 。 


二 进 制 编码 离散 版 本 整数 编码 离散 版 本 


Kennedy 和 Eberhart 1997551 对 粒子 群 优 化 算法 离 “| Salman 等 人 200286 将 粒子 的 
PSO 进行 了 离散 化 ， 形 成 了 二 散 形 式 改 进 版 本 一 位 置 变量 四 省 五 人 为 最 接近 
进 制 编码 的 PSO(BPSO), 并 且 览 图 的 合法 的 离散 值 Yoshida 等 人 
在 对 De Jong 的 五 个 标准 测试 - 20000 EESERS [EL AT [XH] , 


畏 效 的 测试 中 取得 较 好 的 效 末 为 每 个 区 则 赋予 一 个 柑 应 的 离 
其 他 形式 离散 版 本 usi 


Clerc2004 2 为 PSO 定义 了 合适 的 “加 减 乘 ”法 而 实现 离散 化 ， 并 且 应 用 于 解决 旅行 商 问 题 (TSP) 
Schoofs 和 Naudts2002 ”重新 定义 了 PSO 的 “加 减 乘 ”法 ， 并 且 应 用 到 了 约束 可 满足 问题 (CSP) 中 
Hu 3 A 2003199] 将 速度 定义 为 位 置 变量 相互 交换 的 概率 , 从 而 将 PSO 离散 化 并 成 功用 于 解决 n 皇 后 问题 


图 6.12 粒子 群 优 化 算法 离散 形式 改进 版 本 一 览 图 


6.4 粒子 群 优 化 算法 的 相关 应 用 


随 看 PSO 的 不 断 改 进 和 完善 ,PSO 币 众 多 的 全 完 肴 应 用 到 了 越 来 越 多 的 领域 当中 。 
作为 连续 领域 的 优化 方法 ,PSO 基本 上 能 够 胜任 所 有 这 方面 的 应 用 。 很 多 已 经 在 人 遗 传 算 
法 中 得 到 很 好 应 用 的 领域 在 玉 用 了 PSO 作为 优化 方法 之 后 , 郡 取 得 了 更 好 的 优化 效 采 并 
且 提 高 了 优化 速度 ,同时 也 降低 了 程序 的 复杂 度 ,使 得 算法 应 用 更 加 的 高 效 。PSO 最 早 
是 用 来 优化 神经 网 络 的 网 络 连 接 权 重 的 ' 汪 ,目前 的 应 用 已 经 涉及 了 电力 系统 .电磁 
spiel La ie BG 059 医学 图 像 配 准 " 中 多 目标 优化 -中 、 系 统 设 计 呈 中 机 器 学 习 与 训 
Ef 010073088]. Be He d i 53 4 2807 、 模 式 识 别 "” 、 信 号 控制 ,离散 组 合 优化 " ”等 各 
个 领域 。 


641 优化 与 设计 应 用 


许多 实际 的 工程 与 实 践 问题 本 质 上 十 田 数 优化 问题 ,或 着 说 这 些 问 题 本 吴 怠 是 要 求 
参数 的 设计 与 优化 ,因此 都 可 以 转换 为 晒 数 优化 问题 进行 求解 ,粒子 群 优化 工法 在 解 
些 问 题 时 具有 天 人 然 的 优 色 ,非常 适合 这 种 关 型 问题 的 求解 。 随 春 粒 于 群 优化 算法 的 


进行 
决 这 
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进一步 发 展 和 不 断 的 完善 ,其 在 越 来 越 多 的 工程 与 系统 设计 优化 问题 上 取得 了 相当 成 功 
的 应 用 。 如 表 6.8 所 示 , 这 些 设 计 优 化 问题 主要 包括 : 神经 网 络 优化 .电磁 曙 诞 管 优化 、 
AVR 单 斤 机 系统 参数 优化 、. 相 控 阵 控制 第 参 效 优化 、 天 线 设 计 优 化 .电力 系统 稳定 估 议 
计 、 机 疆 设 计 . 电 路 设计 .放大 表 议 计 、 术 织 系 统 优化 等 。 


表 6.8 粒子 群 优 化 算法 在 工程 与 系统 设计 优化 问题 中 的 应 用 


应 用 (中 文 ) 
昼 经 网 络 优化 


无 功 功率 与 电压 控制 


电磁 螺旋 管 优 化 


电力 系统 稳定 器 参数 优化 
AVR 单片机 系统 参数 优化 
相 控 阵 控制 器 参数 优化 


机 可 设计 优化 
BK ae it UE te 
天 线 设 计 优化 
SB REIT 
组 合 逻 辑 电 路 
电力 系统 稳定 遂 


最 优 的 并 行 设 计 系 统 


鲁 棒 性 设计 
HT DLE 
其 他 


642 调度 与 规划 应 用 

调度 (scheduling) 和 规划 (planning) 是 一 类 密切 影 啊 春 我 们 日 第 生活 的 优化 问题 , 例 
如 会 议 安 排 、 公 车 路 线 规 划 .发 机 调度 等 。PSO 已 经 在 众多 的 调度 与 规划 问题 中 取得 了 
非常 成 功 的 应 用 ,如 表 6.9 所 示 。 


应 用 (中 文 ) 
经 济 调度 的 电力 系统 
发 电机 组 检修 计划 
业务 规划 
电力 系统 最 优 潮流 
输电 网 络 扩展 规划 
任务 分 配 
旅行 商 问 题 
dit A TE] Dad BE |] seh 
其 他 


表 6.9 粒子 群 优化 算法 在 调度 与 规划 问题 中 的 应 用 


Neural network optimization 
Reactive power and voltage control 
Electromagnetic Loney's solenoid 
Power system stabilizers optimization 
AVR system parameters optimization 
Phased-Arrays control optimization 


Aircraft wing design 


Amplifiers 


Antenna design 

Cantilevered beam design 
Combinational circuits 

Power system stabilizers 

Optimal concurrent design system 
Robust design 

Truss optimization 


Others 


Economic dispatch in power systems 


Generator maintenance scheduling 


Operational planning 


Optimal power flow 


Power transmission network expansion planning 


Task assignment 


Traveling salesman problem 


Flow shop scheduling 


Others 
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643 其 他 方面 的 应 用 


粒子 群 优化 算法 的 应 用 领域 非常 三 沁 , 如 表 6. 10 所 示 ,PSO CA FAL y Sill 
练 、 数 据 挖 据 与 分 类 ,生物 与 医学 等 各 个 方面 部 取 得 了 成 功 的 应 用 。 随 着 人 研究 者 对 算法 本 
号 不 断 地 改进 和 完善 以 及 对 算法 应 用 领域 的 不 断 探 寺 ,PSO 算法 将 会 在 更 多 的 实践 领域 
中 发 挥 其 重要 的 作用 。 

表 6.10 粒子 群 优 化 算法 在 其 他 方面 的 应 用 
Hl = 2] 5 l| 2 
* Messerschmidt 和 Engelbrecht 使 用 PSO SAFRAN HAM 28 E 47 UIA. IFA ESS eR” 

游戏 tic-tack-toe 中 取得 成 功 的 应 用 


* Franken 和 Engelbrecht ”将 基于 PSO 的 训练 方法 用 于 “ 非 零 和 博弈 ”游戏 办 徒 困 境 中 
* Papacostantis 等 人 “将 基于 PSO 的 训练 方法 用 于 “概率 博弈 ”的 tic-tack-toe 游戏 中 
数据 挖掘 与 分 类 
* Sousa 等 人 re 站 首次 将 PSO 应 用 于 数据 挖掘 领域 ,他 们 的 目标 就 是 使 用 PSO 根据 一 个 给 定 的 数 
据 集 提取 一 组 最 简约 的 用 于 分 类 的 规则 
。 基于 PSO 的 数据 聚 类 方法 和 图 像 分 类 算法 也 在 不 断 地 提出 和 发 展 ” ” 
生物 与 医学 应 用 
。 使 用 PSO 训练 神经 网 络 实现 对 医学 中 的 震颤 行为 进行 分 析 "* 
。 使 用 PSO 实现 多 模 态 医学 图 像 配 准 “ 
。 使 用 PSO 对 医药 Echinocandin B 的 生产 过 程 进行 优化 
。 使 用 PSO 进行 多 序列 比 对 
。 使 用 PSO SWS i iE TR 


其 他 方面 的 应 用 


6.5 ”粒子 群 优化 算法 的 参数 设置 


PSO 中 并 没有 许多 需要 调 币 的 参数 ,下 面 列 出 了 这 些 参 数 及 其 经 验 设 置 , 如 表 6. 11 
所 示 。 


表 6.11 粒子 群 优化 算法 参数 经 验 设置 


参 数 参考 设置 v 表示 参数 的 意义 。 表示 参数 的 经 验 设置 
V 影响 着 算法 的 搜索 能 力 和 计算 量 
2 求 不 高 ,一般 ] 一 40 就 可 以 达到 很 好 的 对 ER [96] 
种 群 规模 N PSO 对 种 群 规模 要 求 不 高 ,一般 取 20 一 40 就 可 以 达到 很 好 的 求解 效果 


* Carlisle 和 Dozier" 的 研究 中 建议 将 N 设 为 30 
。 不 过 对 于 比较 难 的 问题 或 者 特定 类 别 的 问题 ,粒子 数 可 以 取 到 100 或 200 


粒 于 的 长 上 度 D w 由 优化 问题 本 身 决定 ,就 是 问题 解 的 长 度 
ALF B9 35 Fi] R w 由 优化 问题 本 身 决定 ,每 一 维 可 以 设 定 不 同 的 范围 
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续 表 
参 — 参考 设置 vC 表示 参数 的 意义 * 表示 参数 的 经 验 设置 
V 决定 粒子 每 一 次 的 最 大 移动 距离 ,制约 着 算法 的 探索 和 开发 能 力 
最 大 速度 V max © Vmax 的 每 一 维 Vs; 一 般 可 以 取 相应 维 搜索 空间 的 1076 — 20 76 ,甚至 100% 


*。 ”在 文献 L98j 中 ,就 提出 了 一 种 将 Vx 按 照 进化 代数 从 大 到 小 递减 的 设置 方案 
w ”控制 着 前 一 速度 对 当前 速度 的 影响 ,用 于 平衡 算法 的 探索 和 开发 能 力 


惯性 权重 。 一 般 设 置 为 从 0.9 线性 递减 到 0. 4[ss ,也 有 非 线性 递减 的 设置 方案 
es 。 可 以 采用 模糊 控制 的 方式 设 定 [cm] ,或 者 在 [0.5，1. 0] 之 间 随 机 取 值 co 

© o X 0. 729 的 同时 将 c 和 cz 设 为 1.49445, 有 利于 算法 的 收敛 
— 限制 粒子 的 飞行 速度 的 ,保证 算法 的 有 效 收 人 


Clerc 等 人 通过 数学 计算 得 到 X 取 值 0.729, 同 时 cy 和 es 设 为 2.05 


V 代表 了 粒子 向 自身 极 值 pBest 和 全 局 极 值 gBest 推进 的 加 速 权 值 
。 cl Mc 通常 都 等 于 2.0, 代 表 着 对 两 个 引导 方向 的 同等 重视 口 
加 速 系数 ck Me | 。 也 存在 一 些 ck 和 cs 不 相等 的 设置 11, 但 其 范围 都 在 0 一 4 之 间 
。 将 线性 减少 ,c, 线性 增 大 的 设置 能 动态 平衡 算法 的 多 样 性 和 收敛 性 呈 : 
。 研究 对 cy 和 co 的 自 适应 调整 方案 对 算法 性 能 的 增强 有 重要 意义 3 


v 决定 算法 运行 的 结束 ,由 具体 的 应 用 和 问题 本 身 确定 

。 将 最 大 循环 数 设 定 为 500.1000.5000 ,或 者 最 大 的 函数 评估 次 数 等 

。 也 可 以 使 用 算法 求解 得 到 一 个 可 接受 的 解 作为 终止 条 件 

。 或 者 是 当 算法 在 很 长 一 段 迭 代 中 没有 得 到 任何 改善 , 则 可 以 终止 算法 


w ”决定 算法 如 何 选择 两 种 版 本 的 粒子 群 优化 算法 一 -全 局 版 PSO 和 局 部 
版 PSO 
全 局 和 局 部 PSO | 。 全 局 版 本 PSO 速度 快 ,不 过 有 时 会 陷入 局 部 最 优 
。 局 部 版 本 PSO 收敛 速度 慢 一 点 ,不 过 不 容易 陷 人 局 部 最 优 
。 在 实际 应 用 中 ,可 以 根据 具体 问题 选择 具体 的 算法 版 本 


vw 两 种 更 新 方式 的 区 别 在 于 对 全 局 的 gBest 或 者 局 部 的 [Best 的 更 新 方式 

。 在 同步 更 新 方式 中 ,在 每 一 代 中 , 当 所 有 粒子 都 采用 当前 的 gBest 进行 速度 
和 位 置 的 更 新 之 后 才 对 粒子 进行 评估 ,更 新 各 自 的 pBest, 再 选 最 好 的 
pBest 作为 新 的 gBest 

同步 和 异步 更 新 。 在 异步 更 新 方式 中 ,在 每 一 代 中 ,粒子 采用 当前 的 gBest 进行 速度 和 位 置 的 

更 新 ,然后 马上 评估 ,更 新 自己 的 pBest, 而 且 如 果 其 pBest 要 优 于 当前 的 
gBest, 则 立刻 更 新 gBest, 迅速 将 更 好 的 gBest 用 于 后 面 的 粒子 的 更 新 过 
程 中 

。 一 般 而 言 ,异步 更 新 的 PSO 具有 高 效 的 信息 传播 能 力 ,具有 更 快 的 收敛 速度 


终止 条 件 


66 ASTM 


1. 请 指出 粒子 群 优化 算法 的 基本 思想 来 源 。 

2. 请 写 出 粒子 群 优化 算法 执行 过 程 的 基本 步骤 。 

3. 粒子 群 优化 算法 有 哪些 典型 的 拓扑 结构 ? 各 有 什么 优 缺 点 ? 

4. 如 采 需 要 对 PSO 的 拓扑 结构 设计 自 适 应 的 动态 调整 方案 ,你 将 会 从 哪些 方面 进 
1175 TER? 


第 6 章 ”粒子 群 优化 算法 


5. 通过 查阅 相关 参考 文献 ,指出 PSO 在 混合 遗传 算法 的 选择 .交叉 和 变异 算 子 的 时 


候 , 有 哪些 典型 的 混合 手段 。 


6. 阅读 参考 文献 [55 | ,理解 Kennedy 和 Eberhart 于 1997 年 提出 的 二 进 制 离散 版 本 


PSO 的 算法 原理 和 执行 过 程 。 


[1] 


[2] 
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[10] 


[11] 


[12] 


[13] 


[14] 


[15] 


[16] 


7. 请 分 别 列举 出 PSO 在 工程 与 系统 设计 .调度 与 规划 等 问题 上 的 一 些 具体 应 用 。 
8. 粒子 群 优 化 算法 中 惯量 权重 参数 o 对 算法 性 能 有 什么 影响 ? 有 哪些 设置 方案 ? 
9. 粒子 群 优化 算法 的 同步 更 新 版 本 和 异步 更 新 版 本 有 什么 区 别 ? 

10. 上 机 编写 完整 的 PSO 程序 ,实现 对 例 6. 1 完整 的 求解 。 
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免疫 算法 


RRIKA HH MIS BANE ARE ERE FETA 
T ATHY IA BEST HRI SZA A A AY IE h 
M. IMERI ARH Ie MSCS aS. Tue 
疫 系统 执行 免疫 功能 主要 依 徘 麻 巴 细胞 。 


别 怕 , 注射 疫 淋巴 细胞 
苗 可 以 有 效 预 


U; HINI. 


Ui pd es — ELE WS ASABE ABER AIT SSA A nite ze CERT Ls 
病毒 的 疫 盏 了 ， 这 些 疫 摆 实际 上 天 是 病原 体 , 能 使 人 体 在 再 次 直到 这 种 流 
感 病毒 时 产生 免疫 。 


A 
ID o 


k: o ^ /人 流感 重组 病毒 
o dud, 47-77 


<= a 
nity "n "n 


faye AY (Immune Algorithm,IA) 是 人 
们 借鉴 免疫 系统 的 记忆 、 学 习 、 目 我 识别 
等 性 质 ， 并 建立 相应 的 数学 模型 ， 从 而 设 
计 出 的 解决 一 些 实际 问题 的 算法 。 
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免疫 系统 (Immune System,IS) 是 脊椎 动物 和 人 类 的 防御 系统 ,是 机 体 执行 免疫 功 
能 识别 非 自 体 物 质 ( 通 常 是 病原 微生物 或 异体 组 织 等 ), 从 而 将 之 消灭 .排除 一 一 的 需 
B AR ,细胞 和 分 子 的 总 称 。 把 免疫 系统 的 生物 学 原理 应 用 到 计算 机 科学 中 就 有 了 人 免疫 
算法 (Immune Algorithm, IA), 

本 章 将 介绍 免疫 算法 ,从 算法 的 思想 来 源 、 数 学 模型 .基本 流程 .改进 版 本 、 算 法 应 用 
等 各 个 方面 为 读者 展示 免疫 算法 的 有 关 知 识 。 具 体 包 括 如 下 的 内 容 : 

© 免疫 算法 的 免疫 学 原理 ; 

。 倪 疫 算法 的 数学 模型 

。 倪 疫 算法 的 基本 流程 ; 

。 免疫 算法 的 改进 版 本 ; 

© 倪 疫 算法 的 实际 应 用 。 


7.1 $8338 SAT 


7.1.1 Bea && 


我 们 的 生活 环境 充满 了 各 种 细 戎 、 病 毒 、 传 染 性 微生物 与 各 种 污染 物质 ,但 我 们 平 篆 
为 什么 能 保持 健康 呢 ? 原因 就 是 人 体 的 免疫 系统 (Immune System, IS) EP A Ri. 
倪 疫 系统 能 抵御 日 常生 活 中 的 绝 大 多 数 病 原 体 ,使 我 们 保持 健康 。 更 重要 的 是 免疫 系统 
还 有 记忆 功能 , 当 我 们 得 过 茶 种 疾病 后 ,系统 就 会 生成 专门 的 记忆 细胞 记 住 那些 甬 发 疾病 
的 病原 体 ,细菌 再 次 人 侵 的 时 候 身 体 就 有 了 免疫 力 。 当 然 这 些 疾 病 的 记忆 细胞 也 可 以 通 
过 注射 疫苗 获得 ,记忆 细胞 不 仅 能 记 住 曾经 入 侵 的 病原 体 , 对 类 似 的 其 他 疾病 也 能 起 到 一 
XE HJ f E LAR 

由 于 免疫 系统 具有 学 习性 "所 ” ,记忆 性 和 模式 识别 性 ,研究 人 员 开 始 考虑 把 免疫 系统 
信息 处 理 的 思想 移植 到 数学 和 工程 学 领域 并 建立 相应 的 信息 处 理 技 术 和 计算 机 系统 ,由 
此 产生 了 人 工 免 前 系统 (Artificial Immune System. AIS), MEA T. fo 3E 2& EH EET 
作 分 成 两 部 分 : 建立 模型 和 算法 应 用 。 其 中 最 令 人 关注 的 是 研究 方向 是 设计 通用 或 专用 
的 免疫 鼻 法 ,以 满足 数学 .生物 学 .工程 学 等 领域 实际 计算 问题 的 需要 。 

免疫 算法 (Immune Algorithm,IA) 是 指 以 人 工 免疫 系统 的 理论 为 基础 ,在 体 细 胞 理 
论 和 网 络 理论 的 司 发 下 ,实现 的 类 似 于 生物 免疫 系统 的 抗原 识别 、 细 胞 分 化 .记忆 和 有 自我 
调 世 功能 的 一 类 算法 。 如 采 将 免疫 算法 与 求解 优化 问题 的 一 般 搜 索 方 法 相 比较 ,那么 抗 
Jit 抗体、 抗原 和 抗体 之 间 的 亲 和 性 分 别 对 应 于 优化 问题 的 目标 函数 ,优化 解 , 解 与 目标 函 
数 的 匹配 程度 。 

免疫 算法 最 先 起 源 于 1973 一 1976 年 间 Jerne 的 三 篇 关于 免疫 网 络 的 文章 3 ,Jerne 
在 文中 提出 了 一 组 基于 人 免疫 独特 型 的 微分 方程 ,这 就 是 最 早 的 人 免疫 系统 。1986 年 
Farmer 中 在 此 基础 上 提出 了 基于 网 络 的 二 进 制 的 免疫 系统 ,重点 是 通过 描述 抗体 和 抗 
Ji ,抗体 和 抗体 之 间 的 关系 阐述 了 系统 是 如 何 根 据 实际 问题 (抗原 的 独特 型 ) 而 学 习 和 记 
忆 的 。 他 还 探讨 了 免疫 系统 与 其 他 人 工 智 能 方法 的 联系 ,开局 了 人 工 免 疫 系统 人 研究 的 热 
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i. BEE 20 世纪 80 年 代 人 研究 免疫 系统 的 人 还 不 多 , 百 到 1996 年 12 月 ,在 日 本 举行 了 
首次 基于 免疫 性 系统 的 国际 专题 讨论 会 ,首次 提出 了 人工 免疫 系统 ”(AIS) 的 概念 。 随 
后 ,人 工 免 疫 系 统 进入 了 兴盛 发 展 时 期 ,Dasgupta MEFE py, L9 1A 2g X. T. HEARSE 
成 为 人 工 入 能 领域 的 理论 和 应 用 人 研究 热点 ,相关 论文 和 俩 究 成 有 果 正 在 逐年 增加 。1997 年 
和 1998 年 IEEE 国际 会 议 还 组 织 了 相关 专题 讨论 ,并 成 立 了 人工 免疫 系统 及 应 用 分 
会 ” 。 鉴 于 人 工分 疫 系统 的 荆 究 开 始 成 为 热点 ,人 们 在 2002 年 组 织 了 人 工 免 疫 系 统 国际 
会 议 (International Conference on Artificial Immune Systems, ICARIS) ,此 后 这 个 会 议 每 
年 举行 一 次 。 这 个 会 议 也 是 目前 AIS 研究 领域 最 有 影 啊 力 的 会 议 , 人 们 可 以 在 会 议 材 料 
中 找到 大 量 AIS 在 应 用 领域 的 文章 ,还 可 以 找到 ATS 的 算法 和 其 他 理论 研究 的 最 新 成 
果 。 关 于 ICARIS 的 最 新 信息 可 以 在 这 个 网 站 看 到 (http://www. artificial-immune- 
systems. org/index. shtml) ,这 个 网 站 也 是 AIS 人 研究 的 权威 网 站 。 


71.2 免疫 系统 的 生物 学 原理 简介 


从 人 的 角度 讲 ,免疫 的 主要 作用 就 是 帮助 人 体 自身 的 免疫 系统 抵制 由 病毒 和 细菌 引 
起 的 疾病 ,从 生物 学 角度 讲 , 免 疫 或 免疫 接种 是 强化 一 个 个 体 抵御 外 部 个 体 的 能 力 的 
过 程 。 

人 体 免 疫 系 统 是 怎么 对 抗 病菌 的 呢 ? 我 们 在 图 7. 1 中 给 出 了 免疫 系统 层次 防御 示意 
图 。 为 了 了 解 免疫 系统 的 工作 原理 ,我 们 首先 对 以 下 的 一 些 名 词 进行 解释 。 


病原 体 


后 天 性 
免疫 应 答 


N 
B 淋巴 细胞 
图 7.1 免疫 系统 层次 示意 图 


抗原 : 被 免疫 系统 看 做 异体 ,引起 免疫 反应 的 分 子 。 
抗体 : 免疫 系统 用 来 鉴别 和 移植 外 援 物 质 的 一 种 和 蛋 晶 质 复合 体 。 每 种 抗体 只 识别 特 
定 的 目标 抗原 。 
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淋巴 细胞 : 免疫 系统 中 起 主要 作用 的 微小 户 细 胞 ,包括 B 细胞 和 抗体 , 工 细 胞 和 细胞 
因 于 以 及 目 然 杂念 细胞 。 

B 细胞 : EPRE B Wk E SUB TEES 2T T6 XN ,免疫 系统 的 本 质 部 分 。 

THRE: EPE 淋巴 细胞 ,在 胸 脾 分 化 成 熟 , 按 功能 可 以 分 为 细胞 毒 T 细胞 
(cytotoxic T cell) ,辅助 T 细胞 (helper T cell) , 调 方 /抑制 细胞 (regulatory/suppressor 
T cell) 和 记忆 工 细 胞 Cmemory T cell). 

亲和力 : 抗体 和 抗原 ,抗体 和 抗体 之 间 的 相似 程度 。 

现在 ,我 们 再 来 看 图 7. 1。 该 图 是 人 体 免 疫 系 统 三 个 层次 的 示意 图 。 第 一 层次 是 皮 
肤 .粘膜 等 物理 屏障 ,能 够 阻挡 大 部 分 的 病原 体 。 但 是 如 果 有 些 病原 体 突 破 了 第 一 层 防 
御 , 侵 人 人 体 后 ,它们 首先 被 噬 菌 细胞 发 现 , 这 些 细胞 物 如 其 名 地 吞噬 病菌 并 把 病菌 及 解 
成 小 块 送 到 淋巴 结 ,由 辅助 细胞 (help T cell, 白 血球 的 一 种 ) 识 别 病菌 的 特征 ,然后 告 
诉 人 体 的 淋巴 细胞 这 些 入 侵 政 人 的 性 质 。 这 时 B 细胞 将 被 激活 转化 成 此 细 胞 ,充当 病 茵 
杀手 的 作用 。 如 果 人 体 已 经 有 细胞 感染 了 病毒 ,就 由 细胞 毒 工 细胞 负责 将 其 分 解 和 消 
K. dn AK 了,B 细胞 和 了 细胞 中 有 杀 死 该 炳 孙 能 力 的 细胞 锌 分 解 , 留 下 D io 
忆 细 胞 和 人 荆 记 忆 细 胞 把 这 些 病 栈 的 片段 (也 就 是 抗原 ) 记 忆 下 来 ,继续 监视 炳 落 的 下 次 
AiR a 


713 二 进 制 模型 


1986 年 Farmer 以 免疫 网 络 为 原型 提出 了 免疫 系统 模型 (二 进 制 ), 为 了 抓 住 
Jernet” 提出 的 独特 型 网 络 的 本 质 ,Farmer 忽略 了 工 细 胞 . 巨 噬 细 胞 等 免疫 系统 重要 元 
3& ,把 重心 放 在 B 细胞 表层 的 抗体 和 抗原 之 间 的 机 制 上 。 抗 体 的 简单 结构 如 图 7.2 所 
IR ,每 个 抗体 都 有 抗体 决定 复 和 抗原 决定 基 。 和 实际 免疫 系统 一 样 ,抗体 和 抗原 的 亲 和 程 
度 由 它 的 抗体 决定 复 和 抗原 的 决定 基 的 匹配 程度 决定 。 同 时 抗体 还 有 抗原 决定 基 , 它 对 


其 他 的 抗体 来 说 也 是 一 个 特殊 的 “抗原 ”, 它 们 之 间 的 亲 和 度 由 它 的 抗原 决定 基 和 其 他 抗 
CM 
= aratope 


\ 抗原 决定 基 
Epitope 


B ib EAE 


抗体 抗体 大 表现 型 
ek 


Pk 
1101010100 n 0000011111 


图 7.2 B 细胞 抗体 结构 图 


体 的 抗体 决定 复 的 匹配 程度 决定 。 在 模型 中 Farmer 首先 用 二 进 制 串 表 示 那 些 描述 了 抗 
体 决 定 簇 和 抗原 决定 基 性 质 的 氨基 酸 序列 ,然后 假设 每 个 抗原 和 每 个 抗体 型 分 别 只 有 一 
个 抗原 决定 族 ( 实 际 它 们 部 有 许多 不 同类 型 的 抗原 决定 基 )。 通 过 这 些 决 定 基 之 间 的 匹配 
程度 控制 不 同类 型 抗体 的 复制 和 减少 ,以 达到 优化 系统 的 目的 。 

二 进 制 模型 模仿 了 免疫 系统 的 工作 原理 ,主要 涉及 识别 和 刺激 两 方面 的 内 容 。 

识别 : 每 个 抗体 可 以 用 (e,z) 的 二 进 制 串 表 示 ,匹配 通过 计算 两 个 串 之 间 的 互补 字符 
个 数 上 决定 ,e 表示 抗原 决定 基 ,p 表示 抗体 决定 艇 ,它们 的 长 度 分 别 是 上 .2 所 有 的 抗体 
或 抗原 的 这 两 个 长 度 均 相同 ),s 表示 一 个 匹配 国 值 , 当 s min, ,i,} 时 免疫 有 反应 发 生 , 亦 
称 两 串 相 互 识 别 , 否 则 不 发 生 反 应 。 设 e;(n) 表 示 第 i 个 抗原 决 定 基 的 第 n 位 ,pi;(n) 表 未 
第 i 个 抗体 决定 艇 的 第 n 位 。 串 匹配 的 运算 用 异 或 运算 符 “”( 两 个 0 一 1 字符 不 相同 返 
I] 1 ,相同 返回 0) ,匹配 特异 矩阵 为 : 

mag = D, G( Dien +k) 人 p; G0 — st 1) (7. 1) 


s RIR VU BE AY PEL b eon 8B TB) ES OR BE. 表示 串 的 具体 哪 位 ,; 和 7 表示 具体 哪个 
抗体 或 抗原 的 某 种 决定 基 ( 簇 ) ,其 中 ， 
EG = b. deis (7.2) 
0, Xx 0 
要 根据 公式 (7.1) 算 出 mi 必须 求 出 & 的 所 有 情况 之 和 ,但 实际 上 大 可 不 必 , 如 图 7.3 
所 示 , 只 需求 一 2 过 & 二 2 的 情况 即 可 。 图 7.3 所 示 的 是 抗体 i 的 抗体 决定 簇 和 抗体 j 的 抗 
原 决 定 基 在 & 三 一 1 时 的 匹配 情况 。 这 个 时 候 i p pL UE dE SRL; 的 抗原 决定 基 之 间 共 
有 6 个 互补 字符 。 所 以 如 果 定 义 匹 配 阔 值 ;二 6 则 两 个 串 不 相互 匹配 ,否则 相互 匹配 ，。 


图 7.3 抗体 i 的 抗体 决定 入 和 抗体 7 的 抗原 决定 基 在 k= 二 一 1 时 的 匹配 情况 


模型 还 指出 当 一 个 也 淋巴 细胞 识别 一 个 抗 蛛 决 定 基 时 , 它 受 到 刺激 并 分 八 ,产生 更 
多 表面 附着 相同 抗体 类 型 的 BB 淋巴 细胞 (此 处 简化 免疫 学 的 原理 ,把 自由 抗体 和 B 细胞 
的 抗体 集中 ) 。 

刺激 : 前 面 所 说 的 二 进 制 串 之 间 的 匹配 ,其 目的 是 为 了 刺激 新 的 抗体 的 生成 。 文 献 [4 
以 两 个 抗体 的 相互 识别 为 例 , 抗 体 A 的 抗体 决定 复 能 识别 ( 即 匹配 个 数 上 大 于 阔 值 >) 抗 
体 B 的 抗原 决定 基 , 首 先导 致 抗体 A 以 固定 概率 大 量 繁殖 ,同时 逐渐 清除 抗体 B。 这 样 
就 通过 抗体 决定 艇 和 抗原 决定 基 之 间 的 作用 控制 7 一 类 抗体 的 复制 和 男 一 类 抗体 的 
HL. 

Fifi £& v 4H I 3 3 73 T PIU LN 种 类 型 的 抗体 STR BEDS Uni ,zz，…,z} on 种 类 
型 的 抗原 ,浓度 为 {y «ys tts » LAY TC BE LI ADS p PR Bk m HM UE. ABA D 
体 浓 度 的 变化 方程 为 : 
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N N 
r,-—c = c| Lymer sO; — Ry >) myx, + Dy Mi iy; |= kez: (7. 3) 
j=l j=l 
Mae Lamon m RICE: MALE | CRT PEER MRE RIM. 


— 


m rd = \ 
x; ds Xj t Sins i Me Xj aj- | Jat 


抗体 刺激 抗体 抑制 抗原 刺激 


i 型 抗体 的 抗体 决定 族 受 到 】 | 随 着 时 间 的 推移 , 含有 抗体 
型 抗体 的 抗原 决定 基 的 刺激 细胞 以 ky 决定 的 速率 减少 


i 型 抗体 的 抗原 决定 基 被 j ;型 抗体 的 抗体 受到 ,型 
型 抗体 的 抗体 决定 族 识别 抗原 的 抗原 决定 基 的 刺 
后 ， 对 i 抗体 的 抑制 B , 即 抗原 驱动 


图 7.4 免疫 系统 的 微分 方程 模型 各 部 分 的 作用 
模型 的 基本 要 素 是 : 当前 列 出 的 抗原 和 抗体 类 型 都 是 动态 变化 的 ,会 随 着 新 的 类 型 


而 增加 或 减少 。 同 时 公式 (7.3) 中 的 N 和 也 是 随时 间 变 化 的 ,当然 它们 变化 的 速度 分 
n" 小 于 浓度 a, 和 yw 的 变化 速度 。 抗 体 和 抗原 的 动态 调整 规则 分 别 如 图 7.5 和 图 7.6 


抗原 浓度 是 
否 低 于 国 值 


-一般 体 的 浓度 是 
TIEFE ， 


是 否 需要 淋巴 细 
胞 分 裂 和 增生 


低 浓 度 抗 原 类 型 死亡 


对 抗体 决定 徐 和 抗原 TER 
决定 基 使 用 以 下 遗传 pain poesia 
算法 的 一 种 itin 


WAY AN DUR E A 
tB Haee aE 
Dv LONE 


抗原 集合 


| 抗体 集合 
图 7.5 “抗体 调整 流程 图 图 7.6 抗原 调整 流程 图 
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抗原 和 抗体 类 型 的 自我 更 新 是 一 个 十 分 重要 的 性 质 , 有 了 这 个 性 质 系 统 才 能 用 有 限 
的 已 知 细胞 搜索 新 的 空间 。 抗 体 的 初始 化 采用 随机 的 方法 ,而 抗原 的 初始 化 可 以 用 随机 
化 方法 也 可 以 用 某 种 指定 的 策略 。 系 统 同 时 具有 “免疫 遗忘 ”和 “免疫 记忆 ”的 功能 。 人 免疫 
遗忘 是 指 经 过 一 定时 间 没 有 被 使 用 的 分 子 将 被 消除 。 人 免疫 记忆 根据 的 免疫 学 原理 是 病原 
体 被 消灭 后 ,B 细胞 也 进入 休眠 状态 ,但 是 抗原 仍然 能 被 记忆 很 长 的 时 间 ( 现 实生 活 中 有 具 
体 的 抗原 能 被 记忆 多 长 的 时 间 ,对 于 医学 工作 者 仍然 是 未 解 之 谜 ) 。 通 过 独特 型 网 络 , 文 
献 [4] 给 出 了 模型 具有 记忆 能 力 的 最 好 的 解释 ,图 7.7 详细 地 解释 了 抗体 是 怎么 通过 形成 
记忆 环 记 住 抗 原 的 。 假 设 抗体 集合 Ab, 表示 所 有 识别 抗原 的 抗体 ,Ab, 表示 所 有 能 识别 
Ab, 的 抗原 决定 基 的 抗体 集合 ,……: Ab, 表示 所 有 能 识别 A5,_1 的 抗体 决定 基 的 抗体 集 
合 ,最 后 Ab, 的 抗原 决定 基 叉 能 被 Ab. 的 抗体 决定 筷 所 识别 ,那么 即使 没有 抗原 ,抗原 的 
形状 也 会 被 记忆 在 Ab, 中 。 

抗体 


EN E3 


ee | | me 


通过 一 个 长 度 为 n 的 抗体 相互 识别 的 环 ,eo 被 抗体 记 住 


图 7.7 抗体 记忆 环 


7.2 人 免疫 算法 的 基本 流程 


7.2.1 基本 流程 


免疫 系统 虽然 早 在 20 世纪 70 年 代 就 已 经 被 人 们 提出 ,但 是 一 直到 20 世纪 90 年 代 
日 本 的 Kazuyuki Mori 等 人 5 最早 提出 免疫 算法 ,而 韩国 的 Jang-Sung Chun “ AP 对 
倪 疫 算法 的 研究 取得 了 突破 性 的 进展 。 本 小 广 站 和 完 给 出 免疫 系统 和 人 免疫 算法 的 联系 
( 表 7. 外 ,然后 介绍 公认 的 免疫 算法 的 流程 图 ,最 后 结合 文献 [11] 对 算法 的 每 一 步 进行 
具体 分 析 , 使 读者 明白 运用 免疫 算法 求解 最 优化 问题 的 大 致 过 程 。 
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表 7.1 免疫 系统 和 免疫 算法 的 比较 


免疫 系统 免疫 算法 
抗原 要 求解 的 问题 
抗体 最 佳 解 向 量 
抗原 识别 问题 识别 
从 记忆 细胞 产生 抗体 联想 过 去 的 成 功 解 
淋巴 细胞 分 化 (记忆 细胞 分 化 ) 维持 最 优 解 
T 细胞 抑制 消除 多 余 的 候选 解 
抗体 生命 增加 (细胞 克隆 ) 用 遗传 算 子 生成 新 的 抗体 


算法 是 针对 一 般 优化 问题 提出 的 ,免疫 
算法 的 基本 流程 图 如 图 7. 8 所 示 。 免 疫 算法 
假设 抗原 (目标 函数 ) 有 一 个 ,抗体 (最 优化 
解 ) 有 若干 个 ,抗体 的 性 质 被 统一 到 一 个 长 度 
为 M( 和 具体 问题 有 关 ) 的 独特 型 串 中 ,例如 
第 v 个 抗体 的 独特 型 串 为 {abl sab? ab!) 
算法 将 通过 抗体 和 抗体 ,以 及 抗体 和 抗原 之 亲和力 计算 
间 的 亲 和 度 来 控制 抗体 的 新 陈 代谢 过 程 , 达 
到 免疫 系统 的 记忆 ,学 习 和 自 适应 的 功能 ,以 抗体 产生 的 促进 和 抑制 
实现 函数 优化 。 基 本 的 免疫 算法 主要 包括 以 
PEAS NY RR 

1. 识别 抗体 "3 

把 目标 函数 和 约束 作为 抗体 。 


记忆 细胞 分 化 


> ER k 是 
2. 生成 初始 化 的 拉 体 
结 
随机 生成 独特 型 串 维 数 为 M 的 NN 个 
抗体 。 图 7.8 免疫 算法 流程 图 


3. WHRNE 

CD 抗体 o 和 抗原 的 亲 和 度 为 ax.: 

l 
1+ opt, 

其 中 opt, 表示 抗体 v 和 抗原 的 结合 强度 ,对 最 优化 问题 ,可 以 用 抗体 wv 的 独特 型 的 解 和 

已 苔 的 最 优 解 的 相似 程度 表示 ,例如 对 函数 f — axi 0x2 Har € L— 10. 10] ,i 二 1,2,3， 

求 最 小 值 , 已 知 的 最 优 解 是 0, 那么 抗体 vv 的 opt, 就 是 其 所 代表 的 解 在 该 函数 下 的 适应 


值 。 若 是 一 个 最 大 化 问题 , 则 op 一 | 关于 es | 。 其 中 fs 是 最 优 解 的 适应 值 ,/, 是 抗体 


v lal wv {Eh 
(2) 抗体 ww 和 抗体 ww 的 亲 和 度 为 : 


(7. 4) 


AX » 


TED. WE T es 
ume ~ es 
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其 中 E(2) 为 wv 和 忆 的 平均 信息 炉 。 通 过 这 些 平均 信息 粹 ,算法 实现 了 多 样 化 。 下 面 简 单 介 
绍 一 下 信息 粹 。 基 因 的 信息 粹 如 图 7. 9 所 示 。 

免疫 系统 有 N 个 抗体 ,有 M 个 基因 (或 独特 
型 串 的 长 度 为 M), 第 j NSE NO a A A 
E,(N): 


N 
E;CN) = > — Pes logk pi (7.6) 
其 中 天 表示 独特 型 串 的 字母 表 的 长 度 , 右 为 二 进 
制 数 就 是 2, py 表示 选择 第 i 个 抗体 的 第 j 位 等 


N 
位 基因 的 概率 ,很 明显 >, ps = 1. 所 以 代表 多 


E y 
PEPE NF fri Ei ECNDON 第 /位 等 位 基因 
M 
ECN) = 2 EN) (7.7) 图 7.9 SEDIBUS E 
1 过 


4. 记忆 细胞 分 化 

与 抗原 有 最 大 亲 和 度 的 抗体 加 入 了 记忆 细胞 。 由 于 记忆 细胞 数目 有 限 , 因 此 新 生成 
的 抗体 将 会 代替 记忆 细胞 中 和 它 有 最 大 亲和力 者 。 

5. 抗体 促进 和 抑制 

通过 计算 抗体 的 期 望 值 ,消除 那些 低 期 望 值 的 抗体 。 简 单 地 说 本 步骤 就 是 促进 高 
亲 和 度 、 低 密度 的 个 体 。 抗 体 v 的 期 望 值 e, 的 计算 公式 为 : 


e 一 一 (7. 8) 
其 中 抗体 v 的 密度 的 计算 法 方法 如 下 ” : 

bur O-* ar 

Sa (T. 9) 


其 中 w 表示 和 抗体 & 有 较 大 亲和力 的 抗体 。 通 过 这 个 公式 能 有 效 地 抑制 抗体 的 过 分 相 
似 , 避 免 算法 的 未 成 熟 收 敛 。 

6. 产生 新 的 抗体 

根据 不 同 抗体 和 抗原 亲和力 的 高 低 , 使 用 轮 盘 赌 的 方法 ,选择 两 个 抗体 。 然 后 把 这 两 
个 抗体 按 一 定 变异 概率 做 变异 ,之 后 再 做 交叉 ,得 到 新 的 抗体 。 重 复 操 作 步 又 6 直到 产生 
所 有 N 个 新 抗体 。 可 以 说 免疫 算法 产生 新 的 抗体 的 过 程 需要 遗传 算 子 的 辅助 。 

7. 结束 条 件 

如 果 求 出 的 最 优 解 满足 一 定 的 结束 条 件 , 则 结束 算法 。 


7.2.2 更 一 般 化 的 基本 免疫 算法 


7. 2. 1l; PFA T Jang-Sung Chun 等 人 改进 的 基本 免疫 自 法 ,但 是 这 个 算法 目 
醒 还 只 能 应 对 单 目 标的 最 优化 问题 ,本 地 将 介绍 如 何 将 原 有 的 基本 人 饮 疫 算法 扩展 到 哆 多 
的 问题 上 。 
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1. 求解 多 目标 优化 问题 的 免疫 算法 
对 于 多 目标 优化 问题 ,可 以 把 抗原 扩展 到 工 个 (L 和 具体 的 目标 数目 相等 ) ,并 把 抗 

Hk o 和 抗原 w 的 亲 和 度 ax 重新 定义 为 : 
ET o: 
其 中 opt, NPA v 和 抗原 w 的 结合 强度 , 即 抗体 在 目标 函数 训 中 的 解 和 此 图 数 最 
优 解 的 接近 程度 ,至 于 算法 的 其 他 步骤 ,变化 不 大 。 

2. 求解 更 一 般 问 题 的 免疫 算法 

为 了 求解 更 多 的 问题 ,需要 对 抗原 的 基因 型 进行 和 抗体 一 样 的 编码 。 这 里 首先 简单 
介绍 免疫 系统 的 形态 空间 模型 ,图 7. 10 中 
。 表示 抗 体 , X 表示 抗原 ,V。 是 抗体 可 识别 的 
空间 ,e 是 识别 空间 的 半径 ,V 则 是 包含 所 有 抗 
原 的 空间 。 

根据 图 7. 10 ,一 个 抗体 可 以 识别 在 其 识别 
空间 内 的 所 有 抗原 ,同时 抗原 也 能 被 不 同类 型 
的 抗体 所 识别 ,因此 有 限 的 抗原 一 定 能 被 有 限 
的 抗体 所 识别 。 

假设 在 形态 空间 内 ,抗体 v 和 抗原 的 坐标 
AY Hl Ay (ab), sab? ,abv Mag sag! ag"), 
oo 一 1, ,和 ,那么 它们 之 间 的 距离 如 下 。 


Manhattan 距离 
" 图 7.10 形态 空间 


2, [abi — ag' | 119 


i=] 


Ch 109 


CLE orte 


pD = 


Euclidean 距离 ， 


M 
D= | >> (abi — ag!) (7. 12) 
i=] 
Hamming 距离 : 
(ls ab’, 3E ap" 
D=) jd] E (7.13) 
I=] 0. 其 他 


选用 哪个 距离 公式 和 具体 问题 有 关 , 也 和 使 用 者 假设 的 空间 有 关 。 
同 理 可 以 求 出 抗体 之 间 的 距离 ,然后 只 震 改 变 上 一 节 的 步骤 6 中 亲 和 度 的 计算 公式 ， 
束 可 以 扩展 到 求 一 般 问 题 的 免疫 异 法 。 此 时 亲 和 度 的 计算 公式 如 下 : 


(7. 14) 


aY ow 一 mx: p 15) 


HE z, HPE v 和 抗原 的 距离 «Hug pU v 和 抗体 ww 的 距离 ， 
形态 空间 模型 下 的 基本 人 鲍 疫 算法 在 其 他 的 部 分 都 疫 有 变化 , 均 和 Jang-Sung Chun 的 
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基于 烂 的 基本 免疫 算法 相同 。 当 抗原 不 止 一 个 时 ,也 可 以 用 上 面 所 讲 的 求 多 目标 问题 的 
扩展 方法 对 算法 进行 必要 的 修改 ， 


7.3 ”常用 免疫 算法 


73.1 负 选 择 算 法 


1994 年 , Forrest 根 据 免 疫 系 统 的 自体 - 非 自 体 识别 原理 ,提出 了 负 选 择 算 法 
(Negative Selection Algorithm ,NSA)。 免 疫 系统 能 识别 非 自 体 依靠 的 是 工 细 胞 表面 的 
受 体 ,这 些 受 体 和 所 有 的 自体 (身体 的 需 官 ,组织 和 细胞 ) 都 是 不 相 匹 配 的 ,如 果 接 收 顺 和 
某 个 蛋白质 分 子 匹 配 , 即 可 以 认为 它 是 非 自 体 , 并 消灭 之 ， 

在 文献 [12j 中 ,虽然 作者 最 初 用 工 细 胞 的 俩 选 择 思想 实现 了 计算 机 病毒 检测 的 实 
验 , 但 是 由 此 产生 的 算法 还 可 以 运用 于 模式 识别 .分 类 等 许多 领域 。 就 像 前 面 所 阐述 的 那 
FF ,我 们 把 要 识别 并 保护 的 文件 (或 数据 ) 作 为 自体 (Self) ,在 程序 中 可 以 假设 它们 是 一 个 
字符 串 的 集合 SC 所 有 串 长 为 za) ,具有 识别 功能 的 接收 需 作 为 检测 需 C(Detector) 即 抗体 ， 
在 程序 中 可 以 假设 为 一 个 字符 串 的 集合 尺 ( 所 有 串 长 为 如) ,算法 的 主要 目的 是 先 求 一 个 
和 S 不 匹配 的 尺 集合 ,然后 用 尺 集合 判断 S 集合 是 否 发 生 了 变化 。 

算法 分 成 两 步 , 第 一 步 是 初始 化 ,初始 化 一 个 等 长 度 的 串 集 合 S 作为 自体 (一 个 受 保 
护 的 集合 ) ,然后 初始 化 串 集合 Ro ,选择 其 中 不 和 S 集合 中 任何 串 匹 配 ( 关 于 匹配 的 原则 
BEAL Wa Pe SID IS BPR AA POR. oR eH RAO Bee REEMA. Wi 
fe the dus REE MMA 7.11 Pros. 


生成 随机 串 Ro 


把 Ro ERIS 中 任何 的 串 匹 配 的 


BMA RRA TFAM as 


图 7.11 初始 化 监测 需 R 


算法 第 二 步 , 初 始 化 的 自体 S 随机 变异 某 些 字 节 或 某 些 部 分 ,然后 用 监测 需 RAL 
的 串 集合 S 做 匹配 运算 ,如 果 两 个 集合 有 匹配 的 串 被 找到 , 则 算法 结束 并 报告 探测 到 保 
护 数据 S 被 感染 ( 即 S 已 经 不 是 自体 ); 如 果 找 不 到 , 则 本 次 算法 失败 。 监 视 保护 数据 S 的 
it Fe Wl 7. 12 Bron, 
还 有 一 点 需 要 注意 的 是 ,两 个 字符 串 杀 用 部 分 匹配 的 方法 检测 是 否 发 生 匹 配 , 即 当量 
仅 当 两 个 串 至 少 有 ro 个 连续 位 取 值 相同 时 ,我 们 称 这 两 个 串 匹 配 。 例 如 
S:abcdefx 


T: amndefx 
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RRRS S$ 随 机 变 
异 右 干部 分 


图 7.12 监视 保护 数据 S 


上 面 两 个 串 S AT 的 最 大 连续 匹配 长 度 为 3, 千 匹配 国 值 7o 夺 3 WS AIT DORE. BMRA 
DU fac . 

fa ie PETIA II SE SEE LU A. 第 一 ,所 有 监测 器 独立 行使 职能 而 不 需要 交流 ,通过 多 
个 监测 器 可 以 覆盖 非 自 体 各 个 不 同 部 分 。 第 二 ,如 果 假 设 一 个 封闭 世界 和 自体 完整 规定 ， 
通过 任 细 地 选择 监测 人 第 台 不 会 有 销 误 肯定 的 情况 ,而 且 本 算法 不 会 有 销 误 否定 的 机 会 。 
目前 本 算法 已 经 在 信息 处 理 、 免疫 上 月 适应 癸 究 和 解决 计算 机 领域 一 些 悬 而 未 次 的 难题 上 
得 到 广泛 的 运用 ,其 中 Dasgupta 和 Forrest" #2 HH T Hl fa 3 PE $3 12: FI Bp — Jt p] [a] HF] BH 
Ts rp ITE V OK DG. T Xe TET US TEILT AR Ste f AE HY DE 7J BUR T 2r he HE 
提供 的 思想 可 以 融合 到 别 的 算法 里 发 挥 新 的 功效 。 
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根据 Farmercg 所 描述 的 ,每 个 也 淋巴 细胞 的 表面 能 产生 大 约 10* 个 抗体 ,这 些 抗体 都 
有 作为 监测 需 的 独特 的 抗体 决定 簇 探 测 是 否 有 与 之 匹配 的 抗原 决定 基 。 如 果 某 个 也 淋 
巴 细 胞 探测 到 和 它 相 匹配 (匹配 就 是 可 以 相互 识别 , 详 见 7.1.3 小节 二 进 制 模型 ) 的 抗原 
PRE dé ,就 会 诱导 系统 复制 出 更 多 同类 型 的 也 淋巴 细胞 来 ,当然 也 产生 更 多 的 相应 的 抗 
体 。 这 种 只 刺激 有 用 抗体 的 B 淋巴 细胞 的 复制 过 程 就 是 克隆 选择 。 

图 7. 13 售 单 地 勾画 了 克隆 选择 原理 ,抗原 的 抗原 决定 基 的 表现 型 为 {1110011}， 
在 抗体 中 仅 有 2 ^s AE SE EVE HOLT 号 是 部 分 匹配 ,所 以 骨 艇 刺激 2 号 抗体 大 量 繁 殖 ， 
7 号 抗体 少量 繁殖 ,而 其 他 的 抗体 则 不 再 分 裂 , 等 待 细 胞 的 死亡 。 在 这 个 原理 的 基础 
上 ,De Castro 站 提出 了 克隆 选择 算法 ,他 只 关注 抗体 和 抗原 的 亲 和 度 对 B 细胞 的 复制 
的 影响 ,而 不 考虑 抗体 之 间 的 亲 和 度 ,所 以 后 面 讲 述 的 克隆 选择 算法 都 不 要 求 抗 体 之 
间 的 亲 和 度 。 我 们 先 给 出 其 流程 图 ,然后 对 各 部 分 进行 分 析 。 其 中 死 隆 算法 有 下 面 儿 
AEB gu DIU 

* 保持 功能 性 的 记忆 细胞 从 指令 系统 分 离 ; 

。 受 刺激 性 最 强 的 个 体 的 选择 和 克隆 ; 

。 不 受 刺 激 的 个 体 的 死亡 ; 

* AR AIRE AY EAA fy AR A BE BE T FS a FF ; 

。 产生 和 维持 多 样 性 ， 

。 和 细胞 亲 和 度 成 比例 的 高 频 变 异 。 
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01100110 


抗体 决定 族 VES 


10011001 ^ || 11101001 
= pi 
pt" 克隆 选择 | 


El 7.13 克隆 选择 原理 


如 图 7.14 Pras ,克隆 选择 算法 (Clone Selection Algorithm,CSA) 分 为 六 个 部 分 : 


图 7.14 克隆 选择 算法 流程 图 


(1) 产生 候选 解 集 已, 它 由 记忆 细胞 子 集 M RII TEM P, 组 成 , 即 P= P,+M; 


(2) 根据 亲 和 度 的 计算 ,从 P 中 找 出 2 个 最 好 的 个 体 组 成 集合 Pa; 


(3) 克隆 P, 中 的 所 有 个 个 体 ,产生 一 个 临时 的 克隆 群体 C, 这 个 群体 C 的 规模 是 


抗原 半 和 上 度 上 度量 的 递增 限 数 ; 
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(4) 群体 C 经 过 与 抗原 亲 和 度 成 比例 的 高 频 变 异 ,形成 一 个 成 熟 的 群体 C” ; 

(5) 在 C* 中 重 选 择 改 进 个 体 组 成 记忆 集合 。P 集合 中 的 一 些 成 员 能 够 被 C* 的 其 他 
成 员 所 取代 ; 

(6) 取代 群体 P Fd 个 亲 和 度 最 低 的 抗体 ,维持 多 样 性 。 

2002 年 De Castrot 纪 在 原来 的 论文 中 的 基础 上 ,继续 改进 克隆 选择 算法 以 求解 模式 
识别 和 优化 问题 。 算 法 假设 在 形态 空间 下 ， ia Ks 
而 S 表示 形态 空间 的 合适 坐标 轴 。 下 面 先 来 定义 一 组 弯 

。 Ab; 可 用 抗体 表 (AbE SN ,Ab— Ab, rary ); 

Ab : 记忆 抗体 表 (Ab, € 5 SX ams N), 

* Abin: 剩余 抗体 表 (Ab, ESL, r = N-m); 

* Agim: 被 识别 的 抗原 群 (Agim € S"); 

* fi: 和 抗原 Ag; 相关 的 亲 和 度 癌 量 ; 

righ Ab EHA Ag; 有 最 高 亲 和 度 的 7 个 抗体 (AU ES n ND; 

e Ci Abi, 中 N. 个 殉 隆 体 组 成 的 群体 (CE SN), 

。 C i. CH 经 过 亲 和 度 成 熟 ( 高 频 变 异 ) 后 转变 成 的 群体 ; 

A ApPi, 中 4 个 低 亲 和 和 度 的 抗体 被 CG* 里 面 d SP -F BUR Abia € S^ dr; 

。 Ab; : 准备 放 入 记忆 抗体 的 来 自 C 中 的 抗体 。 

Sci BE 进 制 字符 识别 问题 和 优化 问题 的 流程 ,下 面 将 对 
它们 分 别 进行 介绍 。 元 隆 选 择 算法 模式 识别 流程 图 如 图 7.15 所 示 。 

1. 二 进 制 字 符 识别 问题 

第 1 步 , 随 机 选择 一 个 抗原 Ag;(Ag,;EAg) 让 它 刺 激 抗 体 集合 Ab Abus U Abi,, Go 
m 二 NN) 中 所 有 抗体 ; 

第 2 步 , 计 算 Ab 中 NN 个 抗体 的 亲 和 度 癌 量 f; ; 

第 3 步 ,选择 AD 中 和 抗原 Ag; 亲 和 度 最 高 的 n 个 抗体 组 成 新 的 集合 Abin; 

第 4 步 ,4AUw 集 合 的 抗体 会 根据 它们 各 自 亲 和 度 的 高 低 依照 一 定 比 例 产 生 新 的 克隆 
TE. 2H a vi EE PR B SS C Ab, 的 这 守 个 抗体 和 抗原 的 亲 和 度 越 高 ,它们 自己 的 克隆 体 
RZ ; 

第 5 步 , 集 合 C mU tub £s Al AK AE TH OS IT AE at Be HEN SATIS v PE BS EG 

”, 亲 和 度 越 高 ,抗体 变异 率 越 低 ; 

第 6 步 ,计算 成 熟 殉 隆 集合 C ”和 抗原 Ag; WAME f 7， 

第 7 步 ,重新 选择 集合 C* 的 克隆 体 中 和 Ag, 亲 和 度 最 高 的 一 个 抗体 放 入 记忆 细胞 
集合 Ab{m}) 中 ,如 果 这 个 抗体 对 抗原 Ag; 的 亲 和 度 高 于 原 有 的 记忆 细胞 , 则 取代 之 ; 

7B 82b. C" 的 a 个 抗体 取代 A5b1, 集 合 中 和 抗原 Ag; 亲 和 度 最 低 的 d THE. 

当 所 有 的 M 个 抗 蛛 都 执行 过 一 次 上 面 的 过 程 后 ,我 们 就 称 鼻 法 执行 了 一 代 , 图 7. 16 
用 流程 图 和 伪 代 码 的 方式 重新 诠释 了 上 述 过 程 。 而 且 在 上 面 算法 第 3 步 后 ,n 个 亲 和 度 
最 高 的 抗体 将 被 按照 亲 和 度 从 高 到 低 排 序 , 这 样 它们 具体 的 克隆 体 数量 可 以 用 下 面 的 公 
SUIT FR: 


BIS ARAA 
图 7.15 克隆 选择 算法 模式 识别 流程 图 图 7.16 克隆 选择 算法 优化 问题 流程 图 
N, = >) round ow (7. 16) 
i=] ! 


其 中 N, 是 克隆 体 集合 C’ 的 抗体 总 数 ,8 是 一 个 影响 力 参 数 round C * ) FE BUS PR ZI OSEE 
和 度 最 高 的 抗体 , 即 它 的 下 标 为 ; 王 1, 如 果 8=1、N=100, 那 么 这 个 抗体 需要 克隆 100 个 ， 
此 时 排名 第 二 高 的 抗体 需要 克隆 50 个 。 

2. 优化 问题 

克隆 选择 算法 仅仅 需要 做 一 些 很 小 的 改变 ,就 能 将 上 面 求 模式 识别 的 流程 运用 到 求 
最 优化 问题 中 ,如 图 7. 16 所 示 ,对 单 目标 优化 问题 ,具体 的 改变 有 

(1) 第 1 步 , 没 有 明确 的 需要 识别 的 抗原 ,而 是 需要 最 优化 的 一 个 目标 函数 g(。)。 
抗体 对 抗原 的 亲 和 度 可 以 看 做 目标 图 数 的 解 : 每 个 抗体 Ab: 表示 一 个 输入 空间 的 元 素 。 
此 外 ,抗体 集合 Ab 的 全 体 抗 体 都 作为 记忆 细胞 ,没有 必要 维护 一 个 单独 的 集合 Abos 了。 

(2) 在 第 7 步 ,n 个 抗体 从 C* 中 被 选 出 来 形成 新 的 集合 AD ,而 不 必 选 择 一 个 最 佳 个 
体 Ab* 。 

如 果 想 用 一 个 抗体 群 确定 问题 的 多 个 最 优 值 ,还 需要 确定 两 个 变量 ， 

(D RWE n— N.BIl Ao 中 所 有 抗体 在 第 3 步 都 被 选 来 克隆 。 

(2) 按 下 面 公式 确定 Ap 中 抗体 克隆 的 数目 


N, = > round (B * N) (7. 17) 


Bl Ab 中 所 有 抗体 的 区 隆 体 数量 都 是 一 样 多 的 , 亲 和 度 仅仅 影响 变异 的 概率 。 在 第 5 步 
中 , 亲 和 度 越 高 的 元 隆 体 ,变异 概 率 越 低 。 
CSA 有 执行 学 习 和 维持 高 记忆 性 的 能 力 , 还 有 极 强 的 全 局 搜索 能 力 , 它 能 解决 复 
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计算 智能 

琳 的 工程 问题 ,例如 多 峰 函 数 优化 和 组 合 优 化 问题 。De Castro 称 上 面 的 两 种 算法 为 
CLONALG ,算法 最 初 用 来 完成 机 各 学 习 和 模式 识别 的 任务 ,其 中 输入 的 模式 被 当做 可 以 
识别 的 抗原 。 由 于 算法 的 进化 特性 , 它 还 能 求解 优化 问题 ,特别 是 多 峰 ( 图 数 ) 问 题 。 对 一 
个 给 定 输入 优化 得 到 的 函数 值 可 以 当做 对 抗原 的 亲 和 度 。 在 算法 看 来 ,B 细胞 和 它们 的 
受 体 没有 区 别 ,这样 编排 和 细胞 重 排 的 过 程 就 是 一 样 的 ,它们 都 导致 了 算法 的 多 样 性 , 拓 
宽 了 亲 和 度 的 探索 范围 。 许 多 启发 式 算 子 如 某 种 特殊 的 变异 可 以 根据 具体 的 问题 而 变 
化 ,以 改进 结果 。 通 过 和 遗传 算法 的 比较 以 及 对 计算 结果 的 分 析 , De Castro 等 人 认为 
CSA 能 保持 局 部 优化 解 的 多 样 性 ,而 遗传 算法 趋向 于 把 整个 群体 朝 最 佳 解 的 方 癌 发展 。 
之 所 以 如 此 是 因为 CSA 的 选择 和 再 生产 机 制 以 及 CSA 的 第 2.3 步 。 从 本 质 上 说 CSA 
和 GA 的 编码 方式 没有 区 别 , 但 是 它们 的 进化 搜索 过 程 在 不 同 启 发 原型 .词汇 和 基本 步骤 
上 却 是 不 同 的 。 目 前 还 不 能 证 明 CSA 比 GA 的 性 能 更 佳 ,但 是 CSA 算法 已 经 被 应 用 在 
分 类 、 多 目标 优化 和 模拟 复杂 自 适应 系统 等 方面 "2 dE PA AR b RU? Lr oU 、 蛋 白质 结 
构 预 测 7 等 方面 CSA 也 得 到 了 一 定 的 应 用 。 


733 免疫 算法 和 进化 计算 


遗传 算法 (Genetic Algorithm, GA)! 产生 于 20 世纪 70 年 代 , 由 于 其 算法 步骤 简 
单 ,健壮 性 强 , 具 有 学 习性 和 并 行 计 算 的 功能 等 多 种 特点 ,在 工程 领域 已 经 得 到 充分 的 利 
用 。 但 是 遗传 算法 也 面临 着 许多 版 竺 解决 的 问题 ,例如 如 何 控制 收敛 方向 ,如何 使 算法 有 


iU, 91 RE An o FE d — FCR TE PUTA GR fe 
到 下 一 代 , 如何 把 遗传 算法 和 问题 的 解 空间 
相对 应 等 。 为 了 解决 这 些 问题 ,学 者 们 提出 
本 免疫 遗传 算法 (Immune Genetic 
\ Algorithm, IGA) , 焦 李 成 "对 IGA 的 建立 

个 体 的 适应 


做 了 有 建设 性 的 工作 ,为 了 和 免疫 系统 的 知 

识 对 应 ,在 文献 [18] 的 算法 里 把 种 群 的 每 个 
| 个 体 看 做 一 个 抗体 ,把 抗原 看 做 求解 的 问题 ， 
把 适应 度 看 做 和 抗原 的 亲 和 度 ,把 个 体 的 基 
因 表 现 型 看 做 抗体 的 抗体 决定 徐 , 即 抗体 字 
FRR. IGA 流程 图 如 图 7. 17 所 示 。 人 免疫 遗 


传 算法 的 具体 步骤 如 下 ， 

(1) 创建 初始 随机 种 群 Ass 

| | (2) 根据 先 验 知识 抽取 疫苗 ; 

FRETE (3) 如 果 当 前 群体 A, CE k TO D HE 
a 个 体 则 停止 算法 ,否则 继续 ; 

(4) 对 A, 执行 交叉 操作 形成 临时 群 


Generation+1 体 B,; 
7 


(50 对 B, 执行 变异 操作 形成 新 的 临时 
图 7.17 免疫 遗传 算法 流程 图 HKC.: 


(6) 对 C, THEW TH 7 "E Di s 

(7) 对 D, 执行 免疫 选择 产生 成 熟 的 下 一 代 群 体 A, ,然后 返回 步骤 (3 )。 

IGA 和 GA 最 大 的 不 同 之 处 在 于 两 个 地 方 "  : 

(OD 注射 疫苗 所 谓 疫 苗 就 是 一 个 个 体 随 机 变异 若干 位 得 到 的 变异 体 ,是 根据 先 验 
知识 得 到 的 ,有 较 高 的 概率 得 到 更 高 的 适应 度 。 这 个 算 子 有 两 个 基本 条 件 ; 第 一 ,变异 后 
的 个 体 所 有 位 置 的 字符 均 和 最 优 解 不 同 ,那么 变异 成 这 个 新 个 体 的 概率 为 0; 第 二 ,变异 
后 2 Ne dail ei 那么 变异 成 这 个 新 个 体 的 概率 为 1. BRE — 
个 群体 C= 二 {x1， zs，,… ,zx,} KA n SCE CEB n, =n xa) 从 群体 里 被 选 出 注射 疫苗 ,其 
中 aE (0,1), 

(2) 免疫 选择 : 这 个 算 子 也 分 为 两 步 : 第 一 步 称 为 免疫 测试 ,如 果 新 的 个 体 适应 度 不 
如 老 的 个 体 , 则 还 是 用 老 的 个 体 参 加 后 面 的 运算 ,否则 就 用 新 的 个 体 ; 第 二 步 , 称 为 退火 选 
择 , 在 当前 的 后 代 群 体 中 根据 公式 (7. 18) 用 轮 盘 赌 的 思想 选择 一 个 个 体 zx; (i 二 1,… ,nn) 放 
人 新 的 父 种 群 Art HF o 


el Ci MT, 


plr) = —— (7.18) 
yen 
其 中 f(x;) 是 个 体 r: 的 适应 度 值 ,TT， 是 逐渐 趋向 于 0 的 温度 变量 。 
IGA 是 将 遗传 算法 和 免疫 系统 结合 而 产生 的 ,具有 两 者 的 优点 , 既 继 承 了 遗传 算法 


的 健壮 性 、 自 适应 性 和 并 行 计算 性 ,又 有 人 免疫 算法 的 记忆 性 ,学 习性 和 自体 非 自体 识别 
性 ,今后 必然 在 工程 和 研究 领域 有 更 深远 的 应 用 。 

虽然 免疫 算法 的 基本 原理 相当 复杂 ,但 是 研究 表明 我 们 可 以 抽取 其 中 某 些 方面 做 算 
法 的 融合 ,而 且 人 免疫 算法 具有 很 强 的 融合 性 四 ,和 蚁 群 算法 中 粒子 群 算法 中等 多 种 进化 
算法 都 有 混合 算法 ,目前 还 有 一 个 融合 算法 的 热点 就 是 免疫 算法 和 神经 网 络 的 融合 ,由 于 
其 涉及 的 内 容 十 分 繁 灯 ,这 里 就 不 再 详细 介 绍 , 有 兴趣 的 读者 可 以 参考 文献 [5]、L9]。 

最 后 介绍 免疫 算法 的 分 类 ,根据 Dasgupta’) 的 描述 免疫 算法 可 以 分 为 三 种 : 基于 人 工 
免疫 网 络 的 算法 . 负 选 择 算法 .克隆 选择 算法 。 加 上 近年 来 开始 流行 的 和 其 他 现代 算法 融合 
的 混合 算法 ,就 一 共有 四 种 。 基 于 网 络 的 免疫 算法 最 早 由 Jerne 提出 ,然后 经 过 Farmer 和 
De Castro? 的 先后 完善 和 发 展 , 逐 渐 演 变 成 以 基本 免疫 算法 ( 见 7. 2. 1 节 基 本 流程 ) 为 主 
要 框架 ,以 Ab-Ag 相互 作用 为 基本 原理 的 算法 ,也 是 目前 应 用 最 广 ,研究 最 深入 ,最 有 研究 
价值 的 算法 。 而 所 谓 的 混合 算法 是 指 把 免疫 算法 的 思想 融 人 其 他 计算 智能 算法 (如 人 工 神 
经 网 络 、 蚁 群 算法 等 ) 形 成 的 新 算法 。 图 7. 18 简单 地 把 免疫 算法 分 成 了 四 种 类 型 。 


PIAT 


免疫 网 络 
的 算法 


图 7.18 人 免疫 算法 的 分 类 


7.4 免疫 算法 的 相关 应 用 


20 世纪 90 年 代 后 , 随 着 成 熟 的 免疫 模型 的 建立 ,以 及 人 研究 人 员 对 免疫 学 原理 了 解 的 
深信, 免疫 算法 不 再 是 一 个 单纯 的 理论 模型 , 它 以 其 独特 的 学 习性 .记忆 性 和 目 体 一 非 目 
体 识 别 性 等 多 种 出 色 的 性 能 ,在 工程 应 用 领域 也 发 挥 着 日 益 重 要 的 作用 。 其 中 比较 有 参 
考 价值 的 综述 类 的 文献 有 [5]、L7]、 L9],L21]. 


74.1 识别 和 分 类 应 用 


早期 的 免疫 系统 模型 是 为 了 识别 计算 机 病毒 而 设计 出 来 的 中 ,由 于 免疫 系统 强大 的 
识别 功能 ,在 识别 问题 上 免疫 算法 得 到 了 广泛 的 运用 。 模 式 识别 是 通过 计算 机 用 数学 技 
术 的 方法 来 研究 模式 的 自动 处 理 和 判读 ,简单 地 说 模式 识别 就 是 指导 计算 机 像 人 类 一 样 
具有 自动 的 对 环境 和 客体 的 感知 能 力 。 识 别 的 一 个 基本 问题 就 是 区 分 自体 和 非 自体 ,这 
也 是 免疫 系统 消灭 病原 体 的 一 个 必然 的 过 程 , 所 以 免疫 算法 也 成 为 模式 识别 领域 的 研究 
热点 。 最 早 的 免疫 克隆 算法 就 是 用 于 字符 识别 问题 的 ,另外 在 模式 识别 问题 上 Hunt 
和 Cooke 于 1996 年 提出 的 骨髓 模型 "站 也 备 受 人 们 关注 。 分 类 就 是 把 已 知性 质 的 一 个 群 
体 划 分 成 不 同 的 子 集 , 聚 类 就 是 在 不 知道 具体 参数 对 性 质 影 响 的 时 候 把 群体 中 的 个 体 按 
照 个 体 参 数 的 相似 度 划 分 成 不 同 的 子 集 。 人 免疫 算法 在 识别 和 分 类 中 的 应 用 如 表 7.2 
所 示 。 


表 7,2 免疫 算法 在 识别 和 分 类 中 的 应 用 


计算 机 安全 Computer Security [1]L12]L21]~[27] 
模式 识别 Pattern Recognition [7 ]L13]L28]— [31] 
分 类 Classification (31 ][32]~[35 | 
HEE Cluster (36 |[ 37 ] 

车 辆 图 Vehicle Image [38] 

卫星 图 Satellite Image [39] 

指纹 图 Fingerprint Image [40] 

导航 Robot Navigation [41] 

音频 Sound [42] 

医学 Medical [43]—[46]] 


其 他 Others T 


742 优化 应 用 


计 多 实际 的 工程 与 实践 问题 本 质 上 是 函数 优化 问题 ,或 者 这 些 问题 本 二 就 是 要 求 进 
行 参 数 的 设计 与 优化 ,因此 痢 可 以 转换 为 函数 优化 问题 进行 求解 。 由 于 淋巴 细胞 具有 很 
强 的 学习 和 记忆 功能 ,免疫 鼻 法 应 用 于 优化 和 设计 上 的 也 不 少 。 调 度 (Scheduling) 和 规 
划 (Planning) 是 一 类 密切 有 影 啊 关 我 们 日 第 生活 的 优化 问题 ,例如 会 以 安排 ,公车 路 线 规 


第 7 章 免疫 算法 149 


A. QPL Da BES. CSA, IGA 每 免疫 算法 已 经 在 众多 的 调度 与 规划 问题 上 取得 了 非 第 成 
功 的 应 用 。 从 数学 的 角度 讲 , 这 些 调度 .规划 问题 属于 组 合 优化 问题 的 范畴 ,都 是 优化 问 
题 。 免 疫 算 法 在 优化 问题 中 的 应 用 如 表 7. 3 Pros. 


74.3 


表 7.3 免疫 算法 在 优化 问题 中 的 应 用 


应 用 (中 文 ) m x 
旅行 商 问 题 Traveling Salesman Problem 
调度 问题 Scheduling 
HIV 治疗 HIV Therapy 
信号 处 理 Signal Process 
电磁 学 Electromagnetic 
同步 发 动机 Synchronous Motor 
健壮 性 设计 Robust Design 
随机 优化 Stochastic Optimization 
多 目标 优化 Multiobjective Optimization 


其 他 Others 


其 他 方面 的 应 用 


参考 文献 
L7 ]L13][18] 
[20 ]L 47 ]L 48 ][ 49 ] 
[50] 
[51] 
[52] 
[53] 


Se JE IA AY) Jor A SE ES V0. 7.4 TS. SHE TEE D A TEL ds SH J 75 VIE ZI BL 
Date 34 “SOP 2S Sr TTT V ABS Y JEJE hz Hl. BEBE C OMA AS Ep AS Di Sala D E AA SE 
善 以 及 对 算法 应 用 领域 的 不 断 探 索 , 免疫 算法 将 会 在 更 多 的 实践 领域 中 发 挥 其 重要 的 


作用 o 
表 7.4 免疫 算法 在 其 他 方面 的 应 用 
机 硕大 学习 和 控制 Robot Learning and Control 
数据 挖掘 Data Mining 
1. 请 指出 免疫 算法 的 基本 思想 来 源 。 


C1 


. 请 指出 免疫 算法 执行 过 程 的 基本 步骤 。 

. 编 与 程序 实现 基本 免疫 算法 ,求解 如 下 轴 数 优化 问题 : 
min f(x) = t p zx; €[—10.10], i= 
. HL TA E FERA WERTE D Jti Pe dE TEUER, 
.通过 查阅 相关 参考 文献 ,实现 克隆 选择 算法 求解 TSP 问题 ,例如 berlin52 问题 。 


参考 文献 


[13]L57][58] [59] 
[33][60][61] 
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遗传 算法 在 求解 
某 些 高 维 复杂 的 问题 
时 性 能 不 太 好 ， 有 什 
么 好 的 解决 办 法 呢 ? 
如 果 我 们 把 整个 种 群 


的 分 布 规律 分 析出 来 ， 


是 不 是 可 以 用 来 提高 
算法 的 性 能 呢 ? 


分 布 估计 算法 


如 果 从 整体 上 把 握 种 群 的 分 
布 规律 ， 就 可 以 获得 更 可 靠 的 信 
思 来 引导 算法 未 来 的 搜索 。 基 于 
AME. Fe CPS ES AR. 
群 中 较 优 种 群 的 分 布 模型 ， 然 后 
根据 这 个 模型 可 以 产生 出 整体 质 
量 更 高 的 新 种 群 。 如 此 反复 ,种 
群 的 整体 质量 将 不 断 得 到 提高 ， 
从 而 逐步 搜索 出 全 局 最 优 解 。 分 
布 估 计算 法 (Estimation of Distri- 
bution Algorithms ，EDA) 即 是 基 
于 这 种 思想 的 新 型 启发 式 算 法 。 
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分 布 佑 计算 法 (Estimation of Distribution Algorithms，EDA), 叉 称 为 基于 概率 模型 
的 遗传 算法 (Probabilistic Model Building Genetic Algorithms，PMBGA) ,是 20 世纪 
90 年 代 初 提出 的 一 种 新 型 的 司 发 式 鼻 法 。 它 纺 合 了 统计 学 习 理 论 和 簿 传 鼻 法 的 原理 , 通 
过 构建 概率 模型 .采样 和 更 新 概率 模型 等 操作 实现 群体 的 进化 。 

分 布 估计 算法 的 思想 起 源 于 遗传 算法 (Genetic Algorithm. GA) ,但 是 它 却 有 与 遗传 
算法 截然 不 同 的 进化 模式 。 从 一 定 意义 上 说 ,遗传 算法 是 在 “微观 ?层面 上 对 生物 的 进化 
进行 模拟 ,而 分 布 估计 算法 则 是 在 “宏观 ”的 层面 上 来 控制 算法 搜索 。 这 种 全 新 的 进化 模 
式 赋予 了 分 布 估计 算法 独特 的 性 能 ,而 其 强大 的 全 局 搜索 能 力 和 解决 高 维 复杂 问题 的 能 
力 更 成 为 吸引 众多 人 研究 着 注意 的 亮点 。 经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 成 为 当前 计 


31-8 Be UN BU ier HJ — P IT 26 2244 o 
AS CREE SY 28 OP TB f GEA AY dS AS JURE Be HR D V. dec EY ELE HE Be Hr Hle, 
体 包括 如 下 的 内 容 :， 


。 分 布 估计 算法 简介 ; 
。 分 布 估计 算法 的 基本 流程 ; 

。 分布 估计 算法 的 改进 及 其 理论 研究 ， 
。 分 布 估计 算法 的 应 用 。 


8.1 分 布 估计 算法 简介 


8.1.1 分 布 估 计算 法 产生 的 背景 


分 布 估 计算 法 (Estimation of Distribution Algorithms. EDA) . V. fg Jg 4E T dE oe pa K 
Hy it Fe FE (Probabilistic Model Building Genetic Algorithms. PMBGA).J 20 世纪 90 
年 代 初 提出 的 一 种 新 型 的 启发 式 算 法 2” 。 分 布 佑 计算 法 的 思想 起 源 于 遗传 算法 
(Genetic Algorithm.GA) ^7" 。 在 前 面 的 章节 中 ,我 们 已 经 学 习 了 遗传 算法 的 原理 和 发 
展 历 史 。 那 么 ,分 布 佑 计算 法 的 思想 又 是 怎样 在 遗传 算法 的 发 展 过 程 中 产生 的 呢 ? 

20 世纪 80 FARR ,遗传 算法 在 许多 领域 的 应 用 都 取得 了 空前 的 成 功 , 但 是 对 它 的 理 
论 人 研究 还 相对 薄 弦 ,这 限制 了 遗传 算法 的 进一步 推广 。 为 了 从 理论 上 分 析 遗 传 算法 的 机 
理 和 收敛 性 ,学 者 们 提出 了 著名 的 模式 定理 和 “积木 块 假设 ”。 在 遗传 算法 一 草 中 ,我 们 已 
经 对 模式 定理 和 ”积木 块 假 设 2 的 有 关 概 念 和 理论 进行 了 人 向 要 的 朱 述 。 按 照 “ 积 木 块 假 设 ” 
的 观点 ,遗传 算法 的 演化 过 程 是 对 种 群 染色 体 中 的 大 量 “ 积 木 块 ”进行 选择 和 重组 操作 , 通 
过 组 合 出 更 多 好 的 “积木 块 ”来 逐步 搜索 出 全 局 最 优 解 的 过 程 。 实 践 证 明 ,遗传 算法 在 求 
解 “ 积 木 块 ”紧密 相连 的 问题 时 表现 出 了 很 好 的 性 能 ,但 是 在 求解 “积木 块 ” 松 散 分 布 的 问 
题 时 性 能 却 很 差 。 这 是 因为 算法 中 的 区 叉 操 作 经 营 会 破坏 “积木 块 ”, 从 而 导致 算法 趋 于 
局 部 收敛 或 者 早熟 号 。 

为 了 解决 遗传 算法 中 “积木 块 ” 被 破坏 的 问题 ,学 者 们 提出 了 许多 改进 方案 。 这 些 方 案 
可 以 分 为 两 大 类 别 ; 一 类 是 通 过 学 习 解 的 绩 构 ,发 现 “ 积 木 块 ?并 避免 “积木 块 ? 的 破坏 。 这 
类 改进 的 遗传 算法 称 为 连锁 学 习 遗 传 算法 (Linkage Learning Genetic Algorithm), 5j — 
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类 则 以 一 种 市 有 “全 局 操控 ”性 的 操作 模式 蔡 换 挥 遗 传 算法 中 对 “积木 块 " 具 有 破坏 作用 的 
遗传 算 子 ,这 就 是 本 章 所 要 描述 的 分 布 估计 算法。 和 遗传 算法 的 算法 结构 相 比 ,分 布 估计 
算法 没有 交叉 算 子 和 变异 算 子 , 取 而 代 之 的 是 建立 概率 模型 和 采样 两 大 操作 。 遗 传 算法 
与 分 布 估 计算 法 的 流程 对 比如 图 8. 1 所 示 。 


评估 种 群 适应 度 评估 种 群 适应 度 


生成 初始 种 群 


“达到 结束 一 全 
ETE 
是 
ED 
基本 遗传 算法 框架 基本 分 布 估计 算法 框架 


图 8.1 遗传 算法 与 分 布 估计 算法 的 流程 对 比 


8.1.2 分 布 估计 算法 的 发 展 历 史 


分 布 佑 计算 法 的 概念 最 先 由 Miihlenbein 于 1996 年 提出 5 ,但 早 在 1994 年 , Baluja 
就 提出 了 最 原始 的 分 布 估计 算法 模型 , 即 PBILCPopulation-Based Incremental Learning) 
TEE, Baluja 在 1994 至 1995 年 间 相 继 发 表 了 三 篇 文章 ,系统 阐述 和 分 析 PBIL 算法 的 
原理 和 性 能 ,为 分 布 估计 算法 的 发 展 打 下 了 良好 的 基础 。 随 后 ,Miihlenbein 于 1996 年 
$e tt 3) — Tb £e Sb D ap dp fü ib YE: UMDA (Univariate Marginal Distribution 
Algorithm)? , UMDA 与 PBIL 的 原理 非常 类 似 , 只 是 概率 模型 的 更 新 方法 有 所 不 同 。 
早期 对 分 布 佑 计算 法 的 人 研究 部 是 围绕 二 进 制 编码 展开 的 ,而 且 集 中 于 人 研究 问题 变量 无 
关 的 情形 。 这 类 简单 的 分 布 估计 算法 除了 PBIL 和 UMDA 之 外 ,还 有 Harik 于 1997 年 提出 
的 CGA(Compact Genetic Algorithm) , 1997 至 2000 年 是 EDA 迅速 发 展 的 黄金 时 期 ,期 
间 出 现 了 多 种 经 典 的 人 研究 多 变量 相 天 性 的 分 布 佑 计算 法 ,如 MIMIC( Mutual Information 
Maximizing Input Clustering)! , COMIT (Combining Optimizers with Mutual Information 
Trees )9 | FDA ( Factorized Distribution Algorithm ) 和 BOA ( Bayesian Optimization 
Algorithm)! 等 。 其 中 ,MIMIC 由 De Bonet F 1997 年 提出 , 它 采 用 了 一 种 链 式 关系 来 描述 


变量 之 间 的 关系 。 在 MIMIC 的 基础 上 ,Baluja 于 1997 年 提出 了 另 一 种 双 变 量 相关 分 布 佑 
计算 法 COMIT, 它 采用 树 状 结构 来 描述 变量 之 间 的 关系 。 由 于 MIMIC 和 COMIT 所 采用 
的 链 式 和 树 状 结构 依然 无 法 完美 地 表达 变量 之 间 的 关系 ,Miihlenbein 于 1998 年 提出 另 一 种 
经 典 的 分 布 佑 计算 法 FDA, 它 需要 预先 给 定 变 量 之 间 的 依赖 关系 。BOA 则 由 Pelikan F 
1999 年 提出 , 它 采 用 了 贝 叶 斯 网 络 来 描述 变量 之 间 的 关系 。 

上 述 的 几 种 分 布 舍 计 算法 都 是 以 二 进 制 编码 的 形式 来 描述 的 ,最 原始 的 实数 编码 分 
布 估计 法 是 Servet OF 1997 年 提出 的 一 种 基于 均匀 分 布 的 实数 编码 PBIL。 该 算法 
以 类 似 二 分 法 搜索 的 形式 允 近 最 优 解 ,实验 表明 该 算法 在 搜索 过 程 中 容易 丢失 全 局 最 优 
解 , 而 且 一 旦 丢失 就 再 也 无 法 找 回 。 随 后 ,Sebagt' 于 1998 年 提出 一 种 基于 高 斯 分 布 的 
实数 编码 PBIL ,解决 了 全 局 最 优 解 的 丢失 问题 ,因而 具有 较 好 的 性 能 (该 算法 被 简称 为 
PBILc)。 与 UMDA 对 应 , Larrañaga 于 2000 年 提出 了 UMDAc""  。 此 外 ,日 本 学 者 
Tsutsui 还 于 2001 年 提出 一 种 基于 直方 图 的 实数 编码 分 布 估计 算法 HEDA™ , Ahn" 
则 于 2004 年 将 BOA 拓展 到 实数 编码 。 可 见 ,实数 编码 的 分 布 佑 计算 法 在 2000 年 前 后 也 
速 发 展 ,而 高 斯 分 布 是 其 中 被 应 用 得 最 广泛 的 概率 模型 。 

随 着 实数 编码 EDA 和 多 变量 相关 EDA 的 迅速 发 展 ,结合 EDA 与 其 他 进化 算法 的 
混合 分 布 佑 计算 法 (Hybird EDA) 、 目 适应 分 布 估计 算法 (Adaptive EDA) 、 并行 分 布 估计 
算法 (Parallel EDA) 以 及 关于 分 布 佑 计算 法 的 理论 研究 都 开始 踏 人 EDA 发 展 的 历史 舞 
台 ,成 为 了 当前 EDA 研究 的 热点 。 在 混合 EDA Zr lii. Pena? 等 提出 了 结合 遗传 算法 与 
分 布 估计 算法 的 GA-EDA . Zhang 等 "站 下 提出 了 结合 差分 算法 的 DE-EDA 以 及 结合 后 
部 搜索 算法 的 EDA/L,Iqbal2 和 Wangl55 分 别提 出 以 不 同形 式 结合 粒子 群 算法 的 PSO- 
EDA 等 。 在 自 适 应 分 布 估计 算法 方面 ,Lu 提出 基于 聚 类 分 析 的 自 适 应 EDA! ,在 一 年 
程度 上 克服 了 单一 高 斯 分 布 的 EDA x TOR fit & we PR EC UC 1 In] EIS d ea s Santana? Wt] $2 
出 采用 多 种 概率 模型 产生 样本 的 方法 。 在 并 行 分 布 估计 算法 方面 ,近年 来 陆续 提出 一 些 
并 行 策略 ,主要 集中 于 概率 模型 学 习 的 并 行 化 ?|， 

随 着 对 分 布 估计 算法 的 理论 人 研究 的 不 断 深入 ,许多 研究 者 开始 采用 分 布 估计 算法 解 
决 复杂 的 优化 问题 。 目 前 ,分 布 估计 算法 的 主要 应 用 领域 包括 函数 优化 ?中 组 合 优 
AE 39) AE Vo fei e 0*9  Z Hb DG Ib UR BL as E OO a ELTE. RET 4B dit 
TIA HE HP Ze ETE TT E USUS X P MESES Ei. 

经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 成 为 当前 国际 学 术 界 的 一 个 热门 诛 题 。 其 中 , 权 
威 的 国际 期 刊 Evolutionary Computation 于 2005 年 出 版 了 分 布 估计 算法 的 专刊 ; ACM 
SIGEVO,IEEE CEC 生 许 多 权威 国际 学 术 会 议 也 部 设 有 分 布 佑 计算 法 的 专题 讨论 。 


8.2 分 布 估计 算法 的 基本 流程 


8.2.1 基本 的 分 布 估计 算法 


分 布 估计 算法 是 一 种 基于 种 群 的 随机 优化 算法 , 它 首先 需要 生成 一 个 初始 种 群 ,然后 
通过 建立 概率 模型 和 采样 等 操作 使 种 群 得 到 不 断 的 进化 ,直到 达到 结束 条 件 。 其 中 ,建立 
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概率 模型 和 采样 是 分 布 信 计 算法 的 核心 步 缀 ,也 是 EDA 与 GA 的 最 大 不 同 之 处 。 由 于 分 布 
合计 算法 没有 ”交叉 ?和 "变异 ?操作 ,因而 通常 不 用 基因 来 描述 个 体 所 包含 的 信息 ,取而代之 
的 是 变量 (Variables) 。 分 布 估计 算法 通过 分 析 较 优 群体 所 包含 的 变量 ,构建 符合 这 些 变量 
分 布 的 概率 模型 ,然后 基于 该 概 府 模 型 绸 产生 新 的 种 群 。 因 为 概率 模型 定 由 种 群 中 优 努 群 
体 建立 起 来 的 ,所 以 基于 该 模型 产生 的 新 种 群 在 整体 质量 上 将 优 于 原来 的 种 和 群 。 由 此 推断 ， 
种 群 的 整体 质量 经 过 多 次 迭代 后 将 不 断 得 到 提高 。 分 布 估计 算法 就 是 按照 这 种 形式 将 当前 
最 优 解 一 步 一 步 地 再 近 全 局 最 优 解 的 。 基 本 分 布 估计 算法 的 伪 代 码 如 图 8. 2 所 示 。 


// 功 能 : 基本 分 布 估计 算法 的 伪 代 码 
procedure EDA 
D Generate N individuals randomly 
1-1 
while not met stopping criterion do 
Di ,*—Select Se=N individuals from Dj; according to a selection method 


gi (x)=0 (x| Ha )*-Estimate the joint probability of selection individuals 


D,*-Sample N individuals from p; (x) 
dJ=14+1 
end while 
end procedure 


图 8.2 基本 分 布 估 计算 法 的 伪 代 码 


以 UMDA 为 例 , 其 算法 执行 步 又 如 下 。 
第 一 步 : 随机 产生 N 个 个 体 来 组 成 一 个 初始 种 群 ,并 评估 初始 种 群 中 所 有 个 体 的 适 
应 度 。 
第 二 步 : 按 适 应 度 从 高 到 低 的 顺序 对 种 群 进行 排序 ,并 从 中 选 出 最 优 的 Se 个 个 体 
(SeN). 
第 三 步 : 分 析 所 选 出 的 Se 个 个 体 所 包含 的 信息 ,估计 其 联合 概率 分 布 p(x)。 


p) = p(x | D*) = ll po (8, 1) 
i=] 


FHP n 为 解 的 维 数 ,p(zx;) 为 每 维 变 量 的 边缘 分 布 。 

第 四 步 : 从 构建 的 概率 模型 p(x) 中 采样 ,得 到 NN 个 新 样本 ,构成 新 种 群 。 此 时 , 知 达 
到 算法 终止 条 件 则 结束 ,否则 执行 第 二 步 。 
| 从 式 (8. 1) 可 以 看 出 ,UMDA 在 估计 概率 模型 
C2 Q 时 ,认为 变量 之 间 是 独立 不 相关 的 。 我 们 可 以 用 
图 8. 3 来 形象 描述 UMDA 所 构建 的 概率 模型 中 , 变 
LJ () 。 量 之 间 的 逻辑 依赖 关系 。 其 实 ,早期 所 提出 的 分 布 
估计 算法 如 PBIL Al CGA 等 都 采用 变量 无 关 的 概率 
© 模型 FJa E Kh E P RITE n] E A E EP 
图 8.3 变量 相互 无 关 的 概率 图 模型 ”一些 采用 复杂 概率 模型 的 分 布 估计 算法 。 
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822 一 个 简单 分 布 估计 算法 的 例子 
为 了 更 好 地 理解 分 布什 计算 法 的 执行 流程 ,本 小 让 将 以 上 一 小 和 介绍 的 UMDA 为 
例 ,详细 描述 该 算法 优化 OneMax 问题 的 演算 过 程 。 
定义 8.1 OneMax 问题 : 对 于 固定 长 度 为 N 的 二 进 制 串 ,OneMax 问题 要 求 找到 一 
个 包含 1 的 个 数 最 大 的 二 进 制 串 , 即 找到 x = Car re ot en) x © (0,1), EG F(x) = 
» x 最 大 化 。 


现在 ,我 们 采用 UMDA 来 求解 一 个 四 维 的 OneMax 问题 。 在 这 个 例子 中 ,我 们 用 一 
个 简单 的 概率 向 量 p = (pis pos Ds ,pi) 来 表示 描述 种 群 分 布 的 概率 模型 ,其 中 p; 表示 


zi 取 1 的 概率 ,(1 一 加 ) 则 为 x; 取 0 的 概率 。 


第 一 步 : 产生 初始 种 群 。 E 我 们 定义 初始 
化 概率 向 量 模 型 p= 王 (0.5,0.5,0.5,0.5) ,然后 根据 p 产生 规模 为 10 的 初始 种 群 ,最 后 根 


据 F) Szr Har: tar Har 计算 出 初始 种 群 的 适应 度 ,最 终 的 结果 如 表 8. 1 Bron, 


表 8.1 从 解 空 间 中 按 均匀 分 布 产 生 10 个 个 体 


D O «u c» OS & D E 
= =e Co e CO e CO CO m Lm 


一 一 
= 
CO CO m = Lm O Lm cU CO CO 


CO C CO 28a mE m om om C — 
I— Co m C CO k= = C C3 LR 


第 二 步 : 按照 种 群 的 适应 度 从 高 到 低 进 行 排序 。 假 设 Se 二 5, 则 从 种 群 中 选 出 适应 度 
较 高 的 5 个 个 体 用 来 更 新 概率 问 量 模型 p。 更 新 概率 模型 时 今 p= ke n; 为 在 选 出 
的 较 优 个 体 中 zz; 二 1 的 个 体 数 。 最 终 选 出 的 个 体 如 表 8. 2 所 示 , 从 而 得 到 新 的 概率 模型 


I4 SS ELEA LESS 
lu m, 


48.2 选择 操作 后 的 优势 群体 


mm w Qo Co | 


第 8 章 ”分 布 估 计算 法 


第 三 步 : 根据 更 新 后 的 概率 模型 p 产生 新 的 样本 ,并 计算 这 些 新 样本 的 适应 度 。 最 
终 得 到 新 一 代 的 种 群 如 表 8.3 所 示 。 
表 8.3 更 新 概率 向 量 后 产生 的 新 群体 


as / 
] l 1 0 0 2 
2 0 l 0 0 l 
3 0 l l l 3 
4 l l l l 4 
9 0 l ] l 3 
6 0 0 l 0 l 
7 l l l 0 3 
8 l ] ] l 4 
9 l 1 0 l 3 
10 l 1 0 0 2 


通过 以 上 三 步 ,分 布 信 计 算法 完成 了 第 一 代 的 进化 过 程 。 接 看 重复 第 二 步 和 第 二 步 
完成 下 一 代 的 进化 ,最 终 得 到 的 种 群 平均 适应 度 和 概率 模型 如 表 8. 4 所 示 。 我 们 可 以 看 
出 , 随 着 演化 的 进行 ,种 群 的 整体 质量 不 断 提 高 ,概率 癌 量 逐渐 通 近 全 局 最 优 解 。 

表 8.4 概率 向 量 和 种 群 平均 适应 度 的 进化 情况 


进化 代数 概率 向 量 种 群 平均 适应 度 


(0. 5,0. 5,0. 5,0. 5) Aa 
(0. 6,0. 8,0. 6,0. 6) 2. 6 
(0. 8,1. 0,0. 6.0. 8) 2.9 
(1. 0,1. 0,1. 0,0. 8) 3. 8 
(1.0.1. 0.1. 0,1. 0) 4. 0 


1 fe & D2 m 


8.3 分布 估 计算 法 的 改进 及 理论 研究 


经 过 十 多 年 的 发 展 ,分 布 估计 算法 已 经 有 了 许多 形式 的 改进 : 从 求解 离散 问题 的 分 
布 全 计算 法 扩展 到 求解 连续 问题 的 分 布 全 计算 法 ;从 变量 无 天 的 分 布 信 计 算法 扩展 到 多 
变量 相关 的 分 布 估 计算 法 ;从 单一 的 分 布 佑 计算 法 扩展 到 混合 其 他 算法 ,甚至 具有 目送 应 
功能 的 分 布 佑 计算 法 。 与 此 同时 ,对 分 布 佑 计算 法 的 机 理 及 其 收敛 性 的 研究 也 逐渐 开展 
了 起 来 。 
6.3.1 概率 模型 的 改进 

在 8. 2. 1 小 节 中 ,我 们 已 经 同 读 者 介绍 了 最 简单 的 一 类 分 布 估计 算法 , 即 变量 无 天 分 
布 估计 算法 。 叶 期 所 提出 的 分 布 估计 算法 痢 属 于 这 一 类 ,如 PBIL, UMDA 和 CGA 等 。 
由 于 在 实际 应 用 中 ,问题 所 包含 的 变量 之 间 和 常常 具有 关联 关系 ,采用 变量 无 关 的 分 布 售 计 
算法 求解 这 类 问题 无 法 得 到 令 人 满意 的 效果 。 针 对 这 个 问题 ,学 者 们 展开 了 深入 的 研究 ， 
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并 相继 提出 了 一 系列 用 于 求解 具有 变量 相关 性 的 问题 的 分 布 全 计算 法 。 根 据 这 些 改进 的 
分 布 估计 算法 对 变量 关联 性 捕 提 能 力 的 差异 ,可 以 将 它们 分 为 三 大 类 ,如 图 8.4 所 示 。 下 
面 集 要 介绍 其 中 几 个 比较 经 典 的 概率 模型 。 


| 分 布 估计 算法 概率 模型 改进 版 本 一 览 图 i 


变量 无 关 模 型 ) 双 变 量 相关 模型 多 变量 相关 模型 


PBIL:Baluja 1994 MIMIC:Bonet 1997 FDA:Mühlenbein 1999 
UMDA:Miihlenbein 1996 COMIT:Baluja 1997 BOA:Pelikan 1999 


CGA:Harik 1997 BMDA:Pelikan 19991?! ECGA:Harik 1999)?! 


图 8.4 分 布 估计 算法 概率 模型 改进 版 本 一 览 图 


1. 链 式 概率 模型 

最 时 的 变量 相关 分 布 估计 算法 是 Bonet 于 1997 年 提出 的 基于 最 大 互信 息 的 分 布 估 
计算 法 (Mutual Information Maximization for Input 
Clustering. MIMIC)", 在 MIMIC 中 ,变量 之 间 的 关系 Je 
是 一 种 链 式 的 关系 , 即 在 n 维 随 机 变量 组 成 的 链 中 ,只 有 图 8.5 恋 量 之 间 链 式 依 赖 
相 邻 的 变量 之 间 才 有 关系 ,其 概率 结构 如 图 8. 5 Bros. 关系 的 概率 图 模型 

为 了 求 出 分 布 估 计算 法 的 概率 模型 ,我 们 通常 先 人 研 
究 个 体 中 变量 集合 的 联合 分 布 。 给 定 一 个 变量 集合 X= Gn ean emen , 它 的 联合 分 布 概 
78 85 BE PR BAHT HL OX C8. 2) AREAS : 


p(X) = p(X, | X; X) p(X, | Xi X07 50OGa | X,) pCX,) (8. 2) 
由 于 存在 链 式 关系 ,两 个 变量 之 间 的 条 件 概 率 p(X;|X;) 可 以 根据 样本 信息 求 得 。 


MIMIC 的 目标 即 是 找到 X 的 一 种 最 优 排序 x = {z ,zs ,… ,zx ) ,使 得 根据 这 种 排序 所 
求 得 的 p. (XX) 与 P(X) 尽 可 能 一 致 ,其 中 POOR: 
pa (X) = p(X, | X, p(X, | Xe 5X, | Xi p(X) (8. 3) 
文献 [111 引 入 Kullback-Liebler divergence 的 概念 来 衡量 两 个 分 布 之 间 的 距离 ,其 定义 
如 下 : 
D(p || 5.) —— hlp) +hCX,, | Xi) +e AOX, || XL) HAX) (8.4) 
其 中 ,h(X) 一 一 >) p(X = logp( X = x) A(X | Y) 一 一 DIACK | Y = y) p(Y = y), 


hX LY = y) =— `p (X = x|Y = y)logp (X = x | Y = y). 简单 地 说 ,D(p l| PW 
值 只 有 在 两 个 分 布 相等 的 情况 下 才 为 0。 但 是 ,如 果 通 过 枚 举 的 方法 搜索 一 种 最 优 的 排列 


x f DO || zu) 的 值 最 小 ,需要 OCN1) 的 计算 量 。 为 了 减少 计算 量 , MIMIC 引入 了 一 种 
贫 心 鼻 法 来 求 最 优 排列 ,其 流程 如 下 。 


第 一 步 : 计算 所 有 h X2 ,将 值 最 小 的 变量 标号 为 i.» Bl i, = arg min; (X0; 
k=n— l, 
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第 二 步 ; 对 所 有 JG Aina oi, TE ACK, |X, ) 并 将 值 最 小 的 变量 标号 为 i ED 
ik = arg min,h (X; | Xa ) . j z= TUE coors 全 p =k ~] 
第 三 步 : k =0 则 结束 ,否则 执行 第 二 步 。 
当 概 率 分 布 被 确定 好 后 ,MIMIC 按 如 下 流程 从 链 尾 到 链 首 依次 产生 一 个 新 样本 。 
第 二 步 : 对 所 有 的 k—u-—1.NH—Z,*,24,1 ,根据 p(X, Xi PoE Xi, o 
2. 树 状 概率 模型 
COMIT(Combining Optimizers with Mutual Information Trees) 是 Balujat' F 1997 


年 提出 的 另 一 种 变量 相关 分 布 估计 算法 。COMIT 与 MIMIC 都 是 解决 双 变 量 相 关 的 分 


布 估计 算法 ,但 与 MIMIC 不 同 的 是 ,COMIT 采用 一 种 树 状 
结构 来 描述 变量 之 间 的 关系 ,如 图 8.6 所 示 。 

COMIT 采用 机 器 学 习 领 域 中 Chou 和 Liu H HH A69 77 
法 构造 概率 模型 ,并 根据 MIMIC 的 取样 方式 从 概率 模型 中 
产生 新 样本 。COMIT 构建 概率 模型 和 采样 的 流程 由 以 下 四 
步 组 成 : 

第 一 步 ; 定义 数组 A, ALX: =a, X; =b] wu o Pr SEM 
X, Wl X;,X;—a MX =b 出 现 的 次 数 。 自 先 将 ALX; 二 a， 图 8.6 变量 之 间 树 状 依赖 
Xi 一 站 初始 化 为 一 个 小 第 量 ,然后 采用 增 量 学 习 手 法 不 断 更 关系 的 概率 图 模型 
新 ,使 得 最 新 出 现 的 权重 越 大 , 即 更 新 数组 A 时 ,首先 所 有 值 
乘 一 个 挥发 因子 a, 然 后 每 出 现 一 个 X; 二 a,X; 二 5, 则 A X; =a, X; =b] E 1.0. 


第 二 步 : 根据 ALX: =a, X 二 6b] 计算 变量 对 X, 和 Xi 之 间 的 关联 性 。 关 联系 数 定 


XJ: 


HERI EE udi fh cd ccm (8. 5) 


nb P(X, = a) P(X, = b) 

第 三 步 : 根据 关联 系数 信息 ,构建 关联 树 。 其 构建 过 程 如 下 。 
Stepl: 随机 选择 一 个 市 点 vo 作为 根 , 令 S 为 已 处 理 市 点 集合 ,; 则 有 S= iv). 
Step2: M S 中 选择 与 S 中 的 节点 关联 系数 最 大 的 节点 wv LA S.B S=SU {vw})。 

Step3: 4 SA¢ f Step2 ,否则 结束 。 

第 四 步 ; 深度 优先 轴 历 关联 树 ,产生 新 样本 。 

3. 贝 叶 斯 网 络 概率 模型 

中叶 斯 网 络 是 手 述 变量 之 则 概率 依赖 关系 的 数学 模 
型 ,其 拓扑 结构 是 一 个 有 回 无 环 图 CDAG) ,如 图 8.7 所 
Z ,其 中 每 个 节点 代表 一 个 变量 ,而 每 条 边 则 表示 变量 之 
lia] H5] BE RK HE FH | 

DL WH oy peg 5 HE EE — PEEK RS 2) B T fF 273 J b 
概率 分 布 的 方法 。 假 设 X—0X X. X HBSBLAE SE 
图 8.7 由 叶 斯 网 络 拓扑 竺 构图 e =l ,x,) 表 示 变 量 的 集合 , 则 基于 贝 叶 斯 网 
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络 的 联合 概率 为 : 
PO = Pix. | eer ee) = Pl. | age sag) * ew Pl | ay) Pio) (48 

因此 根据 图 8.7 Bras ny Dlr rd 2s. ATOR AS PCa) A: 

Pron dia 

= Pire | ta) Pire | ae gan) » Plas: | tyes) + Pho | zo) * Phas | xr) * Piar) 

由 于 贝 叶 斯 网 络 可 以 很 好 地 摘 述 变量 之 间 的 复杂 依赖 关系 ,Pelikan 等 人 于 1999 年 
提出 基于 贝 叶 斯 网 络 模 型 的 分 布 估计 算法 (The Bayesian Optimization Algorithm, 
BOA)", BOA 采用 贝 叶 斯 网 络 概 率 模 型 ,采样 时 根据 贝 叶 斯 网 络 拓扑 结构 图 从 父 节 点 
到 子 节点 依次 来 样 生 成 样本 。 其 中 ,构建 贝 叶 斯 网 络 模 型 的 过 程 包括 网 络 结构 的 学 习 和 
参数 的 学 习 两 个 过 程 。Pelikan 等 人 的 人 研究 表明 ,BOA 在 求解 复杂 优化 问题 时 取得 了 很 
好 的 效果 ,其 算法 流程 伪 代 码 如 图 8. 8 所 示 。 


// 功 能 : Boa 伪 代码 

procedure BOA 
D Generate N individuals randomly 
1-1 
while not met stopping criterion do 


Se(l)*-select Se=N individuals from D,;, according to a selection method 


Construct the network B using a chosen metric and constraints 
Generate a set of new individual 了 (2 ) according to the joint distribution 
encoded by B 
Create a new population D by replacing some individuals from Di; with O(J) 
1— 1*1 
end while 
end procedure 


图 8.8 BOA 算法 流程 伪 代 码 


4. 高 斯 概率 模型 

高 斯 分 布 又 称 为 正 态 分 布 , 通 常 记 为 N(u,o?), 其 中 为 分 布 的 均值 ,o 为 分 布 的 方 
差 , 其 函数 图 像 如 图 8. 9 所 示 。 高 斯 概率 模型 是 实数 编码 分 布 估计 算法 的 经 典 概 率 模型 。 
PBIL 和 UMDA 对 应 的 实数 编码 分 布 估计 算法 PBILc 和 UMDAc 所 采用 的 概率 模型 都 
是 高 斯 概率 模型 -27 。 此 外 ,多 元 高 斯 模型 也 是 解决 多 变量 相关 的 实数 编码 分 布 估计 算 
法 稼 采用 的 概率 模型 。 本 小 节 将 以 PBILec 为 例 介 绍 高 斯 概率 模型 解决 连续 空间 的 优化 
问题 的 流程 。 

PBILc 对 每 个 变量 x 定义 一 个 一 元 高 斯 分 布 N (Am 505) ,然后 根据 每 个 N (uj o] TE 
整个 定义 域 空间 产生 一 个 样本 。 构 建 概率 模型 的 过 程 主要 包括 yj; Mo; 的 确立 ,pj 7) 
了 样本 的 中 心 m o; 则 控制 着 样本 的 多 样 性 。 随 着 种 群 的 进化 , 必 将 逐渐 通 近 全 局 的 最 
优 解 所 在 的 位 置 ,而 c 将 越 来 越 小 ,从 而 使 种 群 聚拢 到 全 局 最 优 解 附 近 。 有 具体 地 说 ， 
PBILe 的 求解 过 程 由 如 下 四 步 组 成 。 
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图 8.9 高 斯 分 布 示 意图 


第 一 步 : 随机 产生 初始 种 群 并 计算 种 群 中 所 有 个 体 的 适应 度 ,同时 根据 公式 (8.7) 初 


(8. 7) 


L| — ao 


其 中 V[i][j A PA i SABE v; 的 值 ,N 为 种 群 的 规模 。 

第 二 步 : 采用 线性 学 习 方 式 更 新 高 斯 分 布 的 均值 。 设 在 第 1 代 时 ,x; 对 应 的 高 斯 分 
布 的 均值 为 1 , 则 有 : 

ui = (1—a) * gi tae (att p ght? — uon (8. 8) 

其 中 a ATF Lat Let RE e 分 别 表示 种 群 中 最 优 个 体 、 次 优 个 体 和 最 差 个 体 
所 对 应 的 x; (A. 

第 三 步 : 采用 线性 学 习 方 式 更 新 高 斯 分 布 的 方差 。 设 在 第 71 代 时 ,x; 对 应 的 高 斯 分 
ABN TT ZEA of, MA: 


(6.9) 


o^ —(1—2a)-o +a. 


( O —27}/K 
其 中 xy 为 种 群 按 适 应 度 从 大 到 小 排名 第 (&_1) 的 个 体 的 zr; 值 ,z 为 选 出 的 天 个 较 优 种 
群 的 zx 的 均值 , 即 : 
z= $T )/K (8. 10) 
第 四 步 : 恨 据 更 新 的 高 斯 分 布 产生 样本 。 
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8.3.2 混合 分 布 估计 算法 


在 智能 算法 的 大 家 庭 中 ,除了 分 布 估计 算法 和 遗传 算法 外 ,还 有 蚁 群 优化 算法 
(ACO) 、 粒 于 群 优 化 算法 (PSO) 和 差分 进化 算法 (Differential Evolution, DE), ix 464 
能 算法 各 有 自己 的 特征 ,有 的 适合 解决 连续 性 问题 ,有 的 适合 解决 离散 性 问题 ,而 有 的 具 
有 较 强 的 局 部 搜索 能 力 等 。 因 而 ,缩合 多 种 午 能 自 法 取长补短 ,形成 功能 更 加 强大 的 混合 
算法 是 当前 鲁能 计算 全 完 领域 的 一 个 热点 。 本 小 贡 将 介绍 两 种 商 单 的 混合 分 布 佑 计算 法 
的 原理 ,使 读者 有 一 个 初步 的 认识 。 

L 分 布 估计 算法 与 遗传 算法 结合 

分 布什 计算 法 与 遗传 算法 痢 是 基于 种 料 的 进化 算法 ,它们 的 不 同 之 处 在 于 生成 种 群 
的 机 制 不 同 。 为 了 验证 哪 一 种 算法 的 性 能 更 优 ,Larraiaga 和 Lozano?" 等 学 者 曾 设计 了 
多 种 问题 来 进行 测试 。 最 终 的 汕 试 结 末 表明 没有 一 个 算法 对 解决 所 有 问题 都 是 最 优 的 。 
基于 这 个 研究 结论 ,Pena" 于 2004 年 提出 一 种 简单 有 效 的 混合 分 布 估计 算法 GA-EDA。 
在 GA-EDA 中 ,新 的 种 群 由 GA 和 EDA 共同 生成 。 具 体 地 说 ,GA 和 EDA 是 在 同一 个 
种 群 的 基础 上 按照 各 目的 机 制 分 别 产 生 两 个 了 种群, 然后 冉 将 这 两 个 于 种 群 组 合成 新 的 
种 群 ,如 此 完成 一 代 的 进化 过 程 ( 如 图 8. 10 所 示 )。 仿 真 的 结果 显示 这 种 简单 的 混合 机 制 
OR RERIT BLOF AY IR 


| 采用 复 传 算法 从 采用 分 布 估计 算法 从 | 
种 群 中 产生 新 种 群 


图 8. 10 遗传 算法 与 分 布 估计 算法 混合 机 制 示意 图 


2. 分 布 估计 算法 与 差分 进化 算法 结合 

差分 进化 算法 (Differential Evolution, DE) 也 是 一 种 基于 种 群 的 随机 搜索 自 
法 65959, 它 利用 当前 种 群 之 间 的 差异 信息 来 引导 搜索 。 随 着 进化 代数 的 增加 ,个 体 
之 间 的 差 卉 性 将 趣 来 越 小 ,而 向 单 的 差分 进化 算法 献 乏 有 殖 的 机 制 利 用 和 产生 搜索 
空间 中 的 全 局 的 信息 ,因而 常常 会 收 伍 于 局 部 最 优 解 。 另 一 方面 ,分 布 估计 算法 利 
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用 种 群 的 全 局 信息 建立 概率 模型 ,从 “宏观 ”上 控制 算法 搜索 。 因 而 结合 差分 进化 算 
法 和 分 布 估计 算法 可 以 有 效 地 利用 局 部 信息 和 全 局 信息 ,形成 功能 更 加 强大 的 混合 
算法 。 在 文献 [21] 中 ,Sun 等 人 提出 了 一 种 结合 了 差分 进化 算法 的 混合 分 布 估计 算 
i DE-EDA, 

DE-EDA 中 的 新 种 群 以 DE 或 EDA 方式 生成 。 记 第 & 代 种 群 的 第 j 个 个 体 为 wi , 则 
第 上 十 1 代 的 种 群 的 产生 过 程 如 下 。 

第 一 步 : 从 当前 种 群 中 选 出 M 个 较 优 的 个 体 ,并 如 下 建立 概率 模型 。 


pix) = [| NGagi 65 (8.11) 
i=] 


第 二 步 : 产生 一 个 0 一 1 之 间 的 随机 值 v va, WU PATER DE 的 机 制 产 生 ,和 否 
则 按照 EDA 的 方式 从 概率 模型 p; (xz) 中 取样 。 其 中 a 为 控制 参数 ,最 终 产 生 的 新 个 体 
Hu. 

第 三 步 , ou 的 适应 度 大 于 大 WEE le BN uit! =a). 

第 四 步 : 右 产 生 了 足够 数量 的 新 种 拜 则 终止 ,否则 执行 第 一 步 。 

除了 纺 合 遗传 算法 和 关 分 进化 算法 的 混合 分 布 佑 计算 法 外 ,还 有 缩合 粒子 群 算法 、 局 
部 搜索 算法 和 独立 主 成 分 分 析 技 术 等 混合 分 布 估计 算法 ,这 里 不 再 一 一 介绍 。 相 关 的 算 
法 特点 和 参考 文献 如 表 8. 5 所 示 。 


表 8.5 混合 分 布 估计 算法 研究 一 览 表 


Uu X 者 说 RH 
Topon Kumar Paul(2003) 5"! EDA 与 强化 学 习 (Reinforcement Learning) ERAS 
M. D. Platel(2003) 55 EDA 与 量子 技术 结合 
J. M. Pena( 2004) 7?) EDA 5j GA 结合 
S.J. Yong(2004) EDA 5 DE 结合 
Q. F. Zhang(2004) ^ EDA 与 局 部 搜索 结合 
Alden Wright(2004) EDA 5i X443 CAF 
Q. Lu(2005) U*: EDA 与 聚 类 技术 结合 
Iqbal(2006)""*) , Wang(2007) P“ EDA 与 PSO 结合 
W. S. Dong(2008) 5^. EDA 与 小 生境 技术 结合 


833 开行 分 布 估 计算 法 


基于 种 群 的 进化 算法 需要 评估 种群 中 每 个 个 体 的 适应 度 ,而 且 需 要 多 次 的 迭代 计算 
过 程 ,这 限制 了 进化 算法 在 一 些 复杂 的 领域 以 及 对 实时 性 要 求 较 高 的 领域 的 应 用 。 为 了 
加 快 进化 算法 的 搜索 速度 ,学 者 们 提出 了 许多 第 合并 行 计算 技术 的 方法 。 不 同 的 进化 算 
法 在 算法 结构 上 的 差异 ,导致 它们 结合 并 行 计算 的 方法 和 原理 也 有 所 不 同 。 本 小 节 向 读 
者 介绍 并 行 分 布 佑 计算 法 的 基本 原理 及 其 人 妍 究 现状 。 

1. 种 群 级 别 并 行 化 

种 群 级 别 的 并 行 分 布 估 计算 法 是 最 直观 、 最 易于 在 实际 中 应 用 的 并 行 分 布 估计 算法 
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之 一 。 人 向 单 地 说 ,该 类 算法 通 币 将 种 群 分 成 多 
个 子 种 群 , 每 个 于 种 群 在 不 同 的 机 甫 上 运行 
然后 各 个 子 种 群 通过 迁移 等 机 制 进行 通信 , 达 
到 综合 信息 的 目的 。 

如 文献 L30] 提 出 了 一 种 基于 岛屿 模型 的 
并 行 分 布 估计 算法 dEDA ,该 算法 首先 将 种 群 
分 散 于 多 个 岛屿 中 ,然后 采用 不 同 概率 模型 的 

odi shee EDA 对 不 同 岛 屿 上 的 子 种 群 进行 进化 ,每 个 
不 同 的 EDA 示意 图 岛屿 上 的 子 种 群 进化 到 一 定 代 数 后 即 通 过 同 
步 和 迁移 机 制 与 相 邻 的 孤 咏 屿 上 的 种 群 进行 
相互 通信 ,如 图 8. 11 所 示 。 图 8. 12 是 该 算法 流程 的 伪 代 码 。 


// 功 能 : aepa HAUS 
procedure dEDA 
D+-Generate N individuals randomly 
1-1 
while not met stopping criterion do 
Se(1)t-select Se <N individuals from D.; according to a selection method 
Estimation the distribution p” (x,l)of the selected set Se(1) 
Generate N new individuals according to the distribution p (x, 1) 
Send and receive individuals asynchronously, according to the migr. parameters 
1—-1t1l 
end while 
end of procedure 


图 8.12 dEDA 算法 流程 的 伪 代 码 

2. 适应 度 评估 并 行 化 

适应 度 评估 通常 是 算法 中 最 耗 时 的 部 分 ,而 灯 用 多 台 机 各 并 行 计算 种 和 群 中 的 适应 度 
是 提高 进化 算法 搜索 速度 最 直接 有 效 的 方法 之 一 。 该 类 算法 通常 采用 主 从 模式 ,如 
图 8. 13 所 示 。 主 机 向 从 机 分 配 评估 适应 度 的 任 
务 ,并 最 终 综 合 各 从 机 反馈 回来 的 结果 ,继续 执 
行 EDA 算法 进行 其 他 模块 的 计算 。 而 分 机 则 
专门 负责 守成 主机 分 发 过 来 的 评 佑 任务 。 

3. 概率 模型 构建 并 行 化 

在 采用 EDA 解决 多 变量 相关 的 复杂 问题 
si s 

这 类 概率 模型 的 构建 过 程 通常 需要 较 大 

oa 
高 分 布 估 计算 法 搜索 速度 的 有 效 方法 。 如 文献 [28jL61j 中 Ocenasek 和 Schwarz 提出 了 
并 行 计 算 册 叶 斯 网络 的 新 方法 ,同时 也 将 该 技术 应 用 于 BOA ,提出 一 种 新 的 并 行 分 布 人 


图 8.13 主 从 模式 并 行 EDA 示意 图 


计算 法 .PBOA， 

4. 其 他 并 行 机 制 

由 于 产生 新 个 体 仅 依赖 于 当前 构建 的 概率 模型 ,个 体 与 个 体 之 间 并 无 关联 关系 ,因而 
可 以 对 采样 的 操作 进行 并 行 化 处 理 。 如 文献 L30」 对 EDA 的 采样 并 行 化 处 理 有 相关 的 盖 
b . iix Jy iti poc A TAD V WES ,也 有 学 着 提出 混合 以 上 多 种 并 行 技术 的 并 行 分 布 
[53 EE IEUM, 


83.4 分 布 估计 算法 的 理论 研究 


随 着 分 布 估计 算法 的 兴起 ,对 其 进化 机 理 的 研究 也 逐步 展开 。 目 前 在 这 方面 的 研究 
主要 集中 在 算法 的 收敛 性 分 析 和 时 空 复杂 性 研究 两 个 方向 。 在 收敛 性 分 析 方 面 ,已 有 学 
者 对 PBIL、FDA 以 及 BOA 等 主要 的 分 布 估计 算法 的 收敛 性 进行 了 人 研究 ,得 出 一 些 有 用 
的 结论 。 不 过 这 方面 的 研究 通常 针对 特定 的 问题 如 OneMax 问题 ,对 分 布 估计 算法 解决 
一 般 性 问题 的 收敛 性 研究 的 文献 还 比较 少 。 在 时 空 复杂 性 分 析 方 面 也 取得 了 一 些 进展 ， 
但 是 分 析 的 模型 还 比较 简单 ,通常 需要 比较 理想 的 前 提 条 件 , 如 种 群 规模 无 穷 大 等 。 可 以 
说 ,当前 对 分 布 佑 计算 法 的 理论 研究 还 处 于 起 步 阶 段 ,有 待 进一步 深入 。 表 8.6 是 分 布 估 
计算 法 理论 研究 的 现状 。 

表 8.6 分 布 估计 算法 理论 研究 现状 
研 究 者 说 明 


证 明 PBIL 在 解决 线性 的 二 进 制 优 化 问题 时 ,可 以 收敛 到 全 局 最 优 


rT [63] 
Te 解 , 解 非 线性 问题 可 能 会 陷 人 局 部 最 优 


H. Mühlenbein(1998)'5* 对 UMDA R3 a HE dt 47 op BERRAR 
H. Mühlenbein(1999):5* 对 FDA 的 收敛 性 进行 分 析 
M. Pelikan(2001)^-5*: 对 BOA 解决 OneMax 问题 的 收敛 性 进行 分 析 
| ! 对 种 群 规模 无 穷 大 的 EDA 进行 数学 建 模 ,分 析 了 EDA 算法 达到 
NE. (9i [67] 
Q. F. Zhang(2004) 全 局 收 倒 的 一 些 条 件 
R. Rastegar(2005) 55 分 析 了 种 群 规 模 无 穷 大 的 EDA 要 达到 全 局 收敛 所 需要 的 代数 
早期 的 两 个 分 布 估计 算法 ， | 进行 时 i 
Tianshi Chen(2007) 5?! pong 分布 估 计算 法 :UMDA 和 增 量 UMDA 进行 时 间 复 


提出 用 入 来 度量 分 布 估计 算法 收敛 性 的 方法 ,并 在 此 基础 上 分 析 
了 EDA 终止 的 条 件 


Jiri Ocenasek( 2006) 


8.4 分布 估计 算法 的 应 用 


分 布 全 计算 法 从 “宏观 ”的 角度 来 引 守 算法 进行 搜索 ,这 种 全 新 的 进化 机 制 在 实际 应 
用 中 笛 稼 表现 出 比 遗 传 鼻 法 揭 好 的 性 有 能。 尤其 在 解决 复 录 的 大 规模 优化 问题 时 ,分 布 伯 
计算 法 能 够 以 较 快 的 速度 收敛 于 全 局 的 最 优 解 。 因 而 应 用 分 布 估计 算法 解决 科学 与 工程 
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计算 智能 
中 的 复杂 优化 问题 是 当前 的 一 个 研究 热点 。 分 布 估计 算法 目前 已 经 成 功 应 用 于 组 合 优 


化 、 机 机 学 习 、 模 式 识 别 和 生物 信息 等 众多 领域 。 本 节 辐 谈 者 介绍 分 布 佑 计算 法 在 一 些 重 
要 应 用 领域 的 发 展 情况 。 

1. 函数 优化 

现实 中 许多 问题 通过 数学 建 模 都 可 以 转化 为 函数 最 优化 问题 。 解 决 函数 优化 问题 的 
传统 方法 有 最 速 下 降 法 牛顿 法 和 共 辊 梯度 法 每 。 但 是 在 目标 函数 比较 复 末 或 目标 孔 数 
不 可 导 等 情况 下 ,这 些 传统 的 数值 优化 方法 往往 显得 无 能 为 力 , 取 而 代 之 的 是 遗传 算法 等 
局 发 式 进化 算法 。 而 分 布 估计 算法 则 是 其 中 的 一 股 新 生 力 量 。 与 其 他 局 发 式 进化 算法 相 
比 , 分 布 估计 算法 能 够 更 有 效 地 保护 个 体 信息 中 的 “积木 块 ”, 使 之 不 被 破坏 ,因而 在 求解 
噩 维 的 复杂 奶 数 优化 问题 时 ,往往 能 够 以 更 快 的 速度 收 钱 于 全 局 最 优 解 。 此 外 ,在 具有 先 
DRR AIT DE F ,我们 还 可 以 有 和 针对 性 地 选择 概率 模型 ,从 而 设计 出 性 能 更 加 优越 的 分 布 
AIT EE. 

简单 的 分 布 人 计算 法 在 求解 复杂 函数 优化 时 性 能 较 差 ,尤其 是 在 处 理 多 峰 或 是 变量 
间 具 有 关联 关系 的 问题 时 容易 陷入 局 部 最 优 。 因 此 ,目前 用 于 解决 复杂 函数 优化 问题 的 
分 布 估计 算法 大 都 混合 了 其 他 技术 如 局 部 搜索 技术 5 、 自 适应 技术 co 、 主 成 分 分 析 技 
术 中 和 其 他 进化 算法 ca29 等 ,这 里 不 再 痪 述 。 

2. 组 合 优化 

组 合 优 化 问题 是 一 类 离散 最 优化 问题 。 典 型 的 组 合 优化 问题 有 旅行 商 问题 
(Traveling Salesman problem. TSP) ,作业 调度 问题 (Job Shop Schedule Problem. JSP) il 
wA Dic In] 88 (Maximum Flow Problem. MFP) SE, f@ 2c HY 3t 45 5$ 14 JI it 12 Fe A Al TU GR. 
火 算法 等 已 成 功 解 决 了 大 量 复杂 的 组 合 优化 问题 。 随 肴 分 布 估计 算法 的 兴起 ,其 在 组 合 
优化 领域 的 应 用 也 逐步 发 展 起 来 。 如 文献 L33] 以 TSP JSP 以 及 0-1 背包 等 组 合 优化 问 
题 为 例 ,详细 地 阐述 了 EDA 解决 组 合 优化 问题 的 一 般 思 路 ,并 通过 实验 仿真 证 明了 EDA 
可 以 有 效 解 决 组 合 优 化 问题 。 组 合 优化 的 范围 非常 三 沁 ,这 里 只 列举 分 布 估 计算 法 在 其 
中 一 些 重要 问题 上 的 应 用 ,如 表 8.7 所 示 。 

表 8.7 EDA 在 组 合 优 化 领域 的 研究 情况 


旅行 商 问题 Traveling Salesman Problem Larrañaga (2002) 99! 

作业 调度 问题 Job Shop Scheduling Problem Larrañaga (2002)? ,Jarboui(2009) 9* 
护士 调度 问题 Nurse Scheduling Problem U. Aickelin( 2006) P*: 

网 络 控制 Network Control H. B. Lia( 2008) 5? 

最 大 团 问 题 Maximum Clique Problem Q. F. Zhang(2005) 8" 

核反应 堆 燃 料 管理 问题 | Nuclear Reactor Fuel Management | S. Jiang(2006) 95 


最 大 分 集 问题 Maximum Diversity Problem Wang(2009) 99 


3. 生物 信息 学 

随 着 医学 和 生物 学 的 快速 发 展 ,特别 是 人 类 基因 组 计划 的 顺利 推进 ,我 们 可 以 获取 海 
量 的 生物 学 数据 。 如 何 从 海量 数据 中 获取 对 人 类 有 用 的 信息 是 当今 生物 学 领域 的 一 个 严 
峻 挑战 。 而 生物 信息 学 即 是 在 这 个 背景 下 诞生 的 一 门 结 合计 算 机 科学 、 生 物 学 和 数学 等 
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学 科 的 交叉 学 科 。 由 于 分 布 估计 算法 在 处 理 高 维 复杂 问题 时 表现 出 民 好 的 性 能 ,近年 来 ， 
陆续 有 学 者 采用 EDA 来 解决 生物 信息 学 领域 的 问题 。 从 目前 的 文献 来 看 ,分 布 佑 计算 
法 在 生物 信息 学 领域 的 应 用 主要 有 以 下 儿 个 方面 。 

(1) 基因 结构 分 析 

从 基因 组 中 确定 基因 的 结构 和 位 置 古 人 研究 基因 组 的 重要 步 又 。 由 于 一 个 基因 可 能 包 
含 多 个 部 分 ,因此 可 以 将 基因 结构 的 确定 和 定位 的 过 程 看 成 是 一 个 分 割 和 识别 的 过 程 。 
为 了 找到 识别 基因 的 最 相关 要 素 , 常常 采用 特征 子 集 选 取 技 术 (Feature Subset 
Selection. FSS) , 即 从 大 量 的 特征 数据 中 找 出 最 相关 的 特征 子 集 , 这 是 一 个 NP 难 问题 。 
目前 已 提出 了 多 篇 采用 EDA 方法 解决 FSS 问题 的 文献 。 如 文献 L50] 将 EDA 应 用 于 大 
规模 的 特征 子 集 选 择 取得 了 民 好 将 有 ;文献 L71] 提 出 一 种 基于 UMDA 的 方法 用 于 解决 
平 征 子 集 选 取 问 题 ;文献 L41j 则 采用 分 布依 计 算法 解决 了 包 售 特征 选取 问题 的 特征 排序 
(Feature Ranking) [n] 8t 5. , 

(2) DNA 微 阵列 数据 的 分 类 和 聚 类 分 析 

微 阵列 技术 是 近年 来 兴起 的 分 子 生物 学 人 研究 技术 ,通过 微 阵列 技术 我 们 可 以 获取 大 
量 的 基因 表达 数据 ,而 分 析 这 些 DNA 微 阵 列 数据 将 有 助 于 人 们 认识 许多 生物 过 程 的 本 
质 , 如 肥 老 、 燃 症 和 发 育 等 。 由 于 涉及 的 数据 量 庞大 ,局 发 式 算 法 如 遗传 拭 法 和 分 布 估计 
算法 等 成 为 分 析 微 阵列 数据 的 有 效 工 具 。 如 文献 L42]、L43] 采 用 基于 PBIL 的 分 布 估计 
算法 从 DNA 微 阵列 基因 表达 数据 集中 确定 非 元 余 的 基因 ,取得 了 民 好 的 效果 ;文献 [44 J 
采用 基于 UMDA 的 分 布 佑 计算 法 进行 基因 表达 数据 的 聚 类 分 析 取 得 了 比 遗 传 算法 更 好 
HAR 

(3) E A JE 288 t FW 55 E FR TT 

重 日 质 结构 预测 和 重 白质 设计 是 生物 信息 学 的 两 个 重要 课题 ,两 者 通过 建 模 都 可 以 
转化 为 函数 优化 问题 。 转 化 后 的 函数 优化 问题 的 解 空间 非常 庞大 ,而 且 包 含 大 量 的 局 部 
最 优 解 ,于 是 ,有 学 者 提出 采用 分 布 佑 计算 法 解决 重 月 质 纺 构 预 测 与 重 日 质 设 计 , 如 文 
献 L45] 一 文献 [47] 等 。 

4. 其 他 应 用 

此 外 ,分布 估计 算法 在 多 目标 优化 和 全、 机 器 学 习 “ 5 Foi SC 1H Sg 72073 A BR IE 23 
析 - ”等 领域 也 取得 了 成 功 的 应 用 。 由 于 分 布 估计 算法 还 是 一 个 新 生 的 进化 算法 ,拓展 其 
应 用 领域 将 是 计算 鲁能 领域 的 一 个 全 完 热点 。 


8.5 ASD mM 


. 请 指出 分 布 估计 算法 的 思想 起 源 及 其 特点 。 

. 请 写 出 分 布 估计 算法 的 基本 算法 流程 。 

. 分 布 佑 计算 法 有 哪些 典型 的 概率 模型 ? 各 有 什么 优 缺 点 ? 

分布 舍 计 算法 解决 离散 性 问题 和 连续 性 问题 时 有 什么 不 同 ? 

. 分布 全 计算 法 在 并 行 设计 方面 有 哪些 常用 荣 略 ? 和 其 他 进化 鼻 法 相 比 ,分 布 优 计 
算法 在 并 行 设计 方面 有 什么 不 同 之 处 ? 
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Memetic 算法 


在 面 对 大 规模 、 复 杂 的 优 
化 问题 时 ， 遗 传 算法 、 凤 群 优 
化 、 粒 子 群 优化 等 计算 智能 方 
法 存在 着 收敛 速度 慢 、 难 以 寻 
找 高 精度 的 解 的 缺点 。 


可 选 的 路 径 太 多 

了 ， 怎 么 找到 最 

优 路 径 啊 ? 引入 局 部 搜索 
AERE | 


引入 局 部 搜索 方 
法 ， 对 计算 智能 方法 
所 发 现 的 解 进行 改进 ， 
将 有 效 地 迫 高 计算 管 
能 方法 的 求解 效率 和 
精度 。 


局 部 搜索 与 改进 


Memetic 算 法 实际 上 就 是 基于 群体 的 计算 乔 能 方法 与 局 部 搜索 方法 相 
结合 的 一 类 新 型 的 优化 技术 。 
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在 人 类 进化 的 历史 长 河中 ,人 在 具有 生物 学 意义 上 的 进化 过 程 的 同时 ,人 的 观念 、. 思 
想 与 理论 体系 等 文化 属性 也 在 不 断 地 传承 和 进化 。 与 基因 (gene) 相 对 应 ,我 们 可 以 把 文 
化 属性 的 一 个 复制 和 传播 单位 理解 成 是 一 种 文化 基因 (meme)。 在 文化 进化 过 程 中 ,与 生 
物 进 化 的 目 然 选择 过 程 相 类 似 , 有 利于 人 类 利益 的 优 民 的 文化 基因 往往 能 够 得 到 不 断 地 
传承 和 发 展 。 然 而 ,与 生物 进化 过 程 所 不 同 的 是 ,文化 的 复制 ,传播 和 变异 都 由 大 量 的 专 
业 知 识 所 支撑 。 这 些 专 业 知 识 使 得 文化 的 变异 往往 市 来 进展 而 非 混乱 ,因此 文化 的 进化 
速度 远 快 于 生物 的 进化 速度 。 

本 草 的 主要 内 容 包 括 : 

* Memetic 算法 的 基本 思想 ; 

* Memetic 51-15 I] J& 7 HEE ; 

* Hz Memetic $53 14: ; 

* 动态 Memetic 算法 ; 

e Memetic 算法 的 理论 与 应 用 研究 展望 。 


9.1 Memetic 算法 的 基本 思想 


在 前 儿 章 中 ,我们 已 经 学 习 了 遗传 算法 . 蚊 群 优化 和 粒子 群 优 化 等 多 种 基于 群体 的 计 
算 智 能 方法 。 这 些 计算 和 镶 能 方法 具有 全 局 收敛 、 健 壮 性 强 .并 行 分 布 计算 、 无 绵 对 求解 目 
标 进 行 求 寻 等 数 芝 操作 等 特点 ,目前 已 经 成 为 最 党 关注 和 应 用 最 广 沁 的 一 类 全 局 优化 拉 
术 。 然 而 ,在 面 对 大 规模 ,十 分 复杂 的 优化 问题 时 , 仪 仪 依靠 计算 智能 方法 还 难以 找到 满 
总 的 解 , 而 且 将 耗费 巨大 的 计算 量 。 一 些 学 者 的 完 行 妍 究 表明 ,通过 把 计算 智能 方法 与 其 
他 优化 技术 混合 ,将 能 够 有 效 地 提高 算法 的 性 能 "小 。Memetic 算法 (Memetic Algorithm. 
MA ) 实 际 上 就 是 把 基于 群体 的 计算 智能 方法 和 局 部 搜索 技术 相 结 合 的 一 种 新 型 的 优化 
DR. 

Memetic — i] JK ^E T 5 B] ^F HEX ZAE 4 Er Dawkins) F 1976 年 所 者 的 《有 目 私 的 
JET) ( The Sel fish Gene )— 5! vp gi «B fg — PES meme。 所 请 meme, 在 国内 也 说 
作 “ 竟 母 ”“ 拟 子 ”“ 迷 母 ” 或 “文化 基因 ”等 , 指 的 是 文化 领域 的 一 个 信息 单位 , 它 与 遗传 学 
中 的 “基因 ”(gene) 一 词 相 对 应 。 人 的 各 种 思想 .观念 .理论 体系 和 科学 知识 ,如 一 曲 音乐 、 
一 名 谚语 ,一 幅 图 画 , 一 个 计算 机 算法 等 都 可 以 成 为 一 个 meme。 在 生物 进化 过 程 中 , 通 
过 基因 的 复制 . 变 开 以 及 目 然 选择 ,生物 的 构造 、 机 能 和 习性 等 性 状 逐 新 回 适 应 于 生存 环 
境 的 方向 发 展 。 与 这 个 过 程 相 类 似 , 各 种 meme 通过 广义 上 被 称 为 “模仿 ”的 过 程 在 人 之 
间 传 播 .改变 ,有 利于 人 类 利益 的 meme 往往 能 够 得 到 不 断 的 传承 和 发 展 。 人 然而 ,文化 进 
化 与 生物 进化 还 存在 大 一 个 显 者 的 区 别 。 在 生物 进化 过 程 中 ,基因 的 变异 是 随机 的 ,只 有 
少数 的 变 寞 能 够 促进 生物 回 与 环境 相 适 应 的 方 回 发 展 ,并 在 日 然 选 择 过 程 中 得 到 保留 , 因 
此 生物 进化 的 速度 相对 绥 慢 。 在 文化 进化 过 程 中 ,新 科 和 党 观点 的 提出 依赖 于 充分 的 理论 
依据 和 实验 观察 的 ,悦耳 曲调 的 创作 离 不 开 对 乐理 知识 的 充分 理解 ,各 种 文化 基因 的 变 
5r ,往往 都 需要 以 充分 的 专业 知识 作为 依 徘 。 在 这 些 专业 知识 的 支撑 下 ,文化 的 变异 通常 
将 市 来 改进 而 非 混乱 ,因此 ,文化 的 进化 速度 要 比 生 物 的 进化 速度 快 得 多 。 受 到 这 种 文化 
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进化 思想 的 启发 ,Moscato 将 局 部 的 学 习 与 优化 策略 比喻 为 一 种 meme, 把 基于 meme 
的 局 部 搜索 方 法 和 基于 传统 进化 计算 的 全 局 优化 方法 相 结 合 ,于 1989 年 首先 提出 了 
Memetic 算法 的 概念 。 

MA 最 初 被 提出 时 ,一 般 是 指 遗 传 算法 (Genetic Algorithm,GA) 与 局 部 搜索 的 结合 ， 
因而 在 一 些 文献 中 也 被 称 为 混合 遗传 算法 (hybrid GA)rtI。 近 年 来 , 随 着 进化 计算 研究 
领域 的 快速 发 展 , 如 尽 群 优化 算法 (Ant Colony Optimization,ACO) 和 粒子 群 优化 算法 
(Particle Swarm Optimization, PSO)! 等 基于 群体 的 全 局 搜索 算法 相继 被 提出 ,MA 这 
一 概念 的 内 涵 也 不 断 得 到 丰富 。 目 前 ,MA 已 经 成 为 基于 群体 的 全 局 搜索 方法 与 局 部 搜 
索 相 结合 的 一 类 算法 的 总 称 ” 。 由 于 全 局 搜索 方法 善于 探索 出 解 空 间 中 的 优秀 区 域 , 而 
局 部 搜索 则 能 够 很 快 地 发 现 局 部 区 域 中 的 最 优点 ,MA 的 核心 思想 就 是 把 它们 的 全 局 搜 
索 与 局 部 搜索 能 力 结合 起 来 ””。 与 单纯 的 进化 算法 相 比 ,MA 往往 能 以 更 少 的 计算 代价 ， 
得 到 具有 更 高 精确 度 的 解 , 在 解决 复杂 、 高 维 、 大 规模 问题 时 具有 明显 的 优势 ,近年 来 逐渐 
受到 了 国内 外 学 者 的 重视 :10 。IEEE Congress on Evolutionary Computation 等 进化 
计算 领域 的 权威 国际 会 议 已 经 把 MA 作为 重要 的 专题 子 以 讨论 ,而 国际 期 刊 IEEE 
Part B 也 于 2007 年 出 版 了 关于 MA 


Transactions on System, Man, and Cybernetics 
的 专刊 。 

5j GA, ACO,PSO 等 概念 相 比 ,MA 具有 更 广 的 范畴 ,是 一 类 算法 的 总 称 。 因 此 本 章 
根据 Krasnogor 和 Smith? 的 综述 ,以 “框架 ”的 形式 来 描述 MA 这 类 算法 。 目 前 已 经 有 
大 量 的 MA 被 提出 ,并 已 经 成 功 地 应 用 于 各 种 不 同类 型 的 优化 问题 ,然而 这 些 算法 往往 
都 采用 上 自己 特有 的 方式 把 全 局 搜索 和 局 部 搜索 结合 起 来 ,其 设计 过 程 仍然 是 ad hoc 的 ， 
即 需要 根据 不 同 应 用 的 具体 特点 进行 个 性 化 设计 ,缺乏 统一 的 指引 与 规范 2" 。 本 章 将 根 
据 全 局 搜索 与 局 部 搜索 结合 的 不 同方 式 , 把 这 些 MA 算法 划分 为 静态 与 动态 两 类 ,系统 
地 分 析 这 些 算法 的 全 局 搜索 与 局 部 搜索 结合 方式 的 特点 。 


9.2 Memetic 算法 的 基本 框架 


为 了 系统 地 分 析 目 前 已 经 被 提出 的 大 量 Memetic 算法 ,Krasnogor 和 Smith"? 提出 
T MA 的 框架 模型 。 根 据 该 框架 ,一 个 MA 应 该 包含 如 下 的 9 种 要 系 , 即 
MA = (P° 8 ,of fspringSize.popSize,l, F. G,U,L) (9, 1) 
其 中 : 
。 P= ee A o ptt E uc ) 4&2 初 始 种 群 ; 
© © 代表 算法 的 初始 参数 设置 ; 
* of fspringSize 表示 通过 生成 函数 G 得 到 的 后 代 的 数目 ; 
* popSize 表示 种 群 大 小 ; 
© 7 代表 编码 长 度 ; 
e 上 了 表示 适应 值 图 数 (Cfitness function)。 给 定 待 解 问题 的 解 空 间 ( 即 所 有 候选 解 的 
集合 )T, 适 应 值 困 数 下 是 一 个 从 解 空间 工 到 正 实数 集 尺 ”的 映射 , 即 对 每 一 个 候选 
ffi sc I. AGE fi F(s) 是 一 个 正 实数 ，; 
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。G 代表 生成 函数 (generating function), 它 古 一 个 从 市 有 popSize 个 候选 解 的 集合 
BA of fspringSize 个 候选 解 的 集合 的 映射 。 给 定 第 和 & 代 的 种 群 P^ = C. 
L$ t basic ) 生成 图 数 G TERI T. P* 可 以 得 到 一 个 带 有 offspringSize 个 新 解 
后代) 的 集合 O =GCP*) = Coi «02 s**t Oopyspringsize )。 例 如 ,GA FP EN GEL ERA 
d ,都 属于 生成 图 数 ; 
U 代表 更 新 图 数 Cupdating function), 它 的 作用 是 根据 第 & 代 的 种 群 P* 及 其 后 代 
O* 得 到 第 十 1 代 的 新 种 群 PB P" 二 U(P* XO)。 例 如 ,GA 中 的 选择 操 
作 就 属于 更 新 函数 ; 
* 工 二 (1,Ls,…,L,) 是 一 个 局 部 搜索 策略 的 集合 , 称 为 局 部 搜索 策略 池 。 其 中 工 ; 
(lim) {02 — fis) Bp 18 R R WE. PK A — T+ meme。 目 前 大 部 分 的 MA $5 H 
T ^H — Rb Jay Bp 1 ZR E. Bl m= 二 1。 当 算法 使 用 了 不 止 一 种 局 部 搜索 策略 
(EI 2m — DD SE RR iE 1E JJ meme(multi-meme?) IJ MA, 根据 这 个 框架 ,MA 的 
基本 流程 框架 如 图 9.1 rz. 


| 采用 工 中 的 局 

d pos ipa HDT Ae TREE HE 

Ama | | 行 局 部 搜索 
k=0 


计算 适应 值 函数 


- | 采用 工 中 的 局 | 
P =UP XO ) 利 用 更 新 -一 -了 部 搜索 策略 进 | 
函数 (选择 ) 得 到 新 一 代 种 群 上 行 局 部 搜索 


J - 采用 工 中 的 局 
O ”=C(P”) 利 用 生成 函数 A---7 部 搜索 策略 进 | 
(交叉 、 变 异 等 ) 生 成 新 群体 | 行 局 部 搜索 | 


图 9.1 MA 的 基本 流程 框架 


从 上 面 给 出 的 流程 框 染 可 知 , 与 传统 的 进化 计算 方法 相 比 ,MA 实际 上 只 是 增加 了 一 
^r eo pi RE » BIS Y LS a Lie Ly RP RR. PA IX T E ZR Al Zu d | MA 
各 种 各 样 不 同 的 实现 形式 ,如 表 9.1 所 示 。 其 全 局 搜索 策略 可 以 是 GA、ACO 或 PSO 等 
各 种 基于 群体 的 全 局 搜索 方法 ;局 部 搜索 策略 可 以 是 爬山 法 、 蔡 忌 搜索 .模拟 退火 或 其 他 
与 具体 问题 相关 的 局 部 搜索 方法 ,甚至 是 多 种 局 部 搜索 方法 一 起 使 用 ;局 部 搜索 可 以 与 全 
局 搜索 策略 的 生成 函数 (例如 GA 中 的 交叉 、 变异 操作 ) 相 结合 ,也 可 以 与 更 新 图 数 (例如 
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GA 中 的 选择 操作 ) 相 结合 ;局 部 搜索 的 执行 可 以 依据 Lamarckian 模型 ,也 可 以 依据 
Baldwinian f 780 102021 ;局 部 搜索 策略 可 以 作用 于 群体 中 的 某 个 个 体 之 中 ,也 可 以 作用 于 
整个 群体 。 
表 9.1 设计 MA 的 各 种 可 选 方案 
MA 的 设计 步骤 可 选择 的 方案 

进化 算法 

遗传 算法 (GA) ,进化 规划 (EP) 

进化 策略 (ES) ,遗传 规划 (GP) 
其 他 群体 智能 方法 

W EE AK CACO) .粒子 群 优化 (PSO) 等 


全 局 搜索 策略 的 选择 { 
使 用 一 种 局 部 搜索 策略 
{ 候 山 法 .模拟 退火 .禁忌 搜索 . 导 引 式 局 部 搜索 与 具体 问题 相 
关 的 特殊 局 部 搜索 策略 等 
使 用 多 种 局 部 搜索 策略 (multimeme memetic algortihm) 
| J 与 牛 成 函数 (交叉 、 变 异 ) 相 结合 
与 更 新 图 数 (选择 ) 相 结合 
Lamarckian zt: 
| 由 局 部 搜索 改进 得 到 的 个 体 将 参加 进化 操作 
Baldwinian xt: 
由 局 部 搜 过 改进 得 到 的 个 体 不 参加 进化 操作 
作用 于 整个 群体 
作用 于 部 分 个 体 
局 部 搜索 的 强度 : 每 次 局 部 搜索 的 计算 量 是 多 少 
局 部 搜索 的 频率 : 每 隔 多 和 久 进 行 一 次 局 部 搜索 


局 部 搜索 采 上 略 的 其 他 参数 邻 域 形状 、 邻 域 大 小 ,移动 步 长 等 


局 部 搜索 策略 的 选择 


局 部 搜索 的 位 置 


局 部 搜索 的 方式 


局 部 搜索 的 对 象 


局 部 搜索 与 全 局 搜索 的 平衡 


对 于 一 个 MA 来 说 ,局 部 搜索 的 选择 以 及 全 局 搜索 与 局 部 搜索 的 结合 方式 将 直接 影 


啊 到 算法 性 能 的 好 坏 -2?28 。 因 此 ,设计 一 个 高 性 能 的 MA 必须 考虑 以 下 四 方面 的 问题 : 
(1) 应 该 选择 什么 局 部 搜索 策略 ; (2) 应 该 在 什么 时 候 执行 局 部 搜索 ; (3) 应 该 针对 哪些 
个 体 进 行 局 部 搜索 ,应 该 采用 Lamarckian 模型 还 是 Baldwinian 模型 ; (4) 如 何平 衔 算 法 
的 全 局 搜索 能 力 和 局 部 搜索 能 力 。 

基于 局 部 搜索 与 全 局 搜索 的 各 种 不 同 的 结合 方式 ,目前 已 经 有 多 种 针对 MA 的 分 类 
方式 被 提出 。 例 如 Krasnogor 和 Smith"? 以 执行 局 部 搜索 的 位 置 为 依据 ,按照 “局 部 搜索 
是 否 引 入 了 历史 信息 ”“ 局 部 搜 过 是否 与 选择 算 子 (更 新 函数 ) 相 结合 "“ 局 部 搜索 是 否 与 
交叉 算 子 相 绍 合 ” 以 及 “局 部 搜索 是 否 与 变异 算 子 相 结 合 ” 来 实现 对 MA 的 分 类 。 本 章 依 
据 局 部 搜索 的 设置 在 算法 执行 过 程 中 是 否 会 被 调整 ,把 MA 划分 为 静态 MA 和 动态 MA 
两 类 。 其 中 ,静态 MA 的 局 部 搜索 设置 在 算法 执行 的 整个 阶段 都 是 固定 不 变 的 ,而 动态 
MA 的 局 部 搜索 设置 在 算法 执行 的 过 程 中 能 够 不 断 得 到 调整 。 下 面 两 方 将 先 描述 静态 
MA ,并 分 析 执 行 局 部 搜索 的 不 同位 置 以 及 不 同方 式 所 各 自 具有 的 特点 ,然后 再 介绍 动态 
MA 的 分 类 以 及 目前 最 重要 的 几 种 动态 MA。 
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9.3 静态 Memetic 算法 


目前 已 被 提出 的 MA XA DAE A 8 | ie He RASH MA 一 般 只 采用 一 种 局 
部 搜索 策略 ,局 部 搜索 的 执行 位 置 和 方式 都 是 预先 确定 的 ,并 且 在 整个 算法 的 执行 过 程 中 
保持 不 变 。 其 中 ,局 部 搜索 策略 的 选择 往往 与 具体 问题 的 特征 相关 ,因此 这 里 主要 讨论 执 
行 局 部 搜索 的 不 同位 置 和 方式 所 具有 的 特点 。 


93.1 局 部 搜索 的 位 置 


根据 Krasnogor PI Smith‘?! 给 出 的 框架 模型 (参考 图 9. 11) 可知 ,在 算法 的 每 一 次 迭 
代 过 程 中 ,局 部 搜索 一 般 可 以 安排 在 两 个 位 置 执行 , 即 与 生成 函数 相 结合 或 与 更 新 函数 相 
结合 。( 注 意 : 一 些 文献 中 也 把 局 部 搜索 作用 于 初始 解 ,以 提高 初始 解 的 质量 ,但 这 一 般 
只 作为 一 种 辅助 方法 。) 

1. 与 生成 函数 相 结 合 的 局 部 搜索 

在 以 GA 作为 全 局 搜索 方法 的 MA 中 ,局 部 搜索 与 生成 函数 相 结 合 的 典型 方式 是 在 
GA 的 交叉 和 变异 操作 中 加 入 局 部 搜索 。 一 种 便 单 的 形式 古 在 交叉 或 变 寞 操作 之 后 , 利 
用 局 部 搜索 蛇 略 进一步 改进 新 生成 的 解 。 例 如 ,文献 L19」 设 计 了 一 种 用 于 求解 大 规模 旅 
行商 问题 的 MA, 对 于 由 交叉 操作 或 变异 操作 产生 的 每 一 个 新 个 体 , 算 法 都 引入 Lin- 
Kernighan 司 发 式 方法 进行 局 部 搜索 。 与 文献 [19」 相 类 似 , 文 献 [20j 对 交叉 或 变 开 操作 
得 到 的 新 个 体 引 和 禁忌 搜索 策略 作为 局 部 搜索 ,提出 了 蜂 寅 移动 网 络 中 切换 蜂 格 的 MA, 
文献 L5j]、L21j]、L22] 则 只 对 交叉 和 变异 操作 都 执行 完毕 后 得 到 的 新 个 体 进行 局 部 改进 。 在 
国内 ,文献 L23] 一 文献 L25] 分 别提 出 了 求解 多 约束 背包 问题 ,机场 停机 位 分 配 问 题 和 集装箱 
配 装 问题 的 MA, 这些 算法 的 局 部 搜索 策略 都 是 作用 于 由 交 义 和 变异 操作 得 到 的 新 个 体 。 

局 部 搜索 与 交 又 和 变异 算 子 结合 的 男 一 种 形式 是 根据 每 解 问题 的 特点 修改 交叉 算 子 
和 变异 操作 ,使 得 交叉 和 变异 操作 也 具有 局 部 搜索 能 力 。 在 连续 空间 的 优化 问题 领域 , 文 
献 [26] 和 文献 L27] 采 用 了 有 具有 局 部 搜索 能 力 的 单纯 型 交叉 (simplex crossover) EEE 
本 原 有 的 单 点 交叉 算 子 , 称 这 类 具有 局 部 搜索 能 力 的 特殊 区 又 算 了 于 为 基于 交叉 的 局 部 搜 
@ (crossover-based local search)。 文 献 | 22 |、| 28 ],| 29 | WSEAS Bh FC Gaussian 
mutation) 或 柯 西 变异 (Cauchy mutation) 来 提高 进化 算法 的 局 部 搜索 能 力 。 在 离散 空间 
的 优化 问题 领域 ,文献 L301,L311 引 入 了 一 种 边 重 组 交叉 (Edge Assembly Crossover, 
EAX) 算 子 来 提高 GA 解决 旅行 商 问 题 (Traveling Salesman Problem,TSP) 时 的 局 部 搜 
索 能 力 。 其 中 ,文献 L30] 迭 代 地 使 用 边 重组 交叉 策略 直到 发 现 更 好 的 解 ,而 文献 L31j 则 进 
一 步 引入 2-opt 局 部 搜索 算法 改进 交叉 后 得 到 的 解 。 

除了 在 交叉 和 变异 算 子 上 添加 局 部 搜索 之 外 ,部 分 学 者 "3 沼 也 尝试 在 PSO 的 速度 
更 新 公式 与 位 置 更 新 公式 中 引入 局 部 搜索 策略 ,以 进一步 提高 PSO 的 收敛 速度 。 

EE MA 中 ,由 于 局 部 搜索 伴随 者 生成 图 数 而 执行 ,因此 在 一 般 情 况 下 ,局 部 搜索 
能 够 作用 到 每 个 新 生成 的 个 体 之 上 ,Krasnogor 和 Smith? 称 这 种 方式 为 细 粒 度 Cine- 
grain) 方 式 的 MA。 这 种 方式 的 优点 是 使 得 各 个 新 个 体 都 得 到 了 一 定 程度 的 局 部 改进 ， 


第 9 章 ”Memetic 算 法 


提高 了 个 体 的 质量 。 然 而 ,由 于 生成 函数 往往 只 依赖 于 某 些 个 体 ( 例 如 交叉 操作 一 般 只 
pa 个 个 体 进行 ,而 变异 操作 往往 只 TAR HTL 个 个 体 ), 因 此 局 pp eut 
体 的 信息 ,而 不 能 利用 整个 群体 的 信息 。 同 时 ,对 所 有 新 生成 的 个 体 都 进行 局 部 搜索 也 可 
能 造成 较 大 的 计算 量 。 为 了 避免 对 各 个 个 体 都 进行 局 部 搜索 而 带 来 的 庞大 计算 量 ,部 分 
算法 通过 各 种 方式 减少 局 部 搜索 的 执行 次 数 。 例 如 文献 L34] 仅 对 适应 值 优 于 阔 值 的 个 体 
进行 局 部 搜索 ， 

2. 与 更 新 函数 相 结 合 的 局 部 搜索 

部 分 MA 也 尝试 把 局 部 搜索 策略 与 更 新 函数 (GA 的 选择 算 子 ) 相 结合 。 也 就 是 说 ， 
在 通过 生成 函数 产生 了 后 代 O 后 ,算法 把 局 部 搜索 策略 引入 到 从 P* A OF 所 构成 的 群 
体 中 筛选 出 新 一 代 种 群 的 过 程 中 。 例 如 ,Tu 和 Lu 在 GA 中 引入 了 一 种 局 部 选择 
(local selection) 策略 ,该 策略 对 每 一 个 染色 体 所 表示 的 区 域 按照 正 态 分 布 进行 随机 取样 ， 
并 根据 取样 结果 调整 区 域 的 属性 。 

Krasnogor 和 Smith"? 称 这 种 局 部 搜索 与 更 新 图 数 相 结合 的 方式 为 粗 粒 度 的 
(coarse-grain) 方 式 的 MA。 在 这 种 方式 下 ,局 部 搜索 可 以 作用 到 由 P^ 和 0O* 构成 的 整个 
群体 之 上 。 这 样 ,一 方面 ,局 部 搜索 操作 能 够 利用 整个 群体 的 全 局 信息 来 指导 搜索 ,能 有 
效 地 提高 局 部 搜索 的 针对 性 ; 男 一 方面 ,未 必 所 有 新 个 体 都 能 得 到 局 部 改进 ,有 时 只 有 适 
应 值 较 高 的 个 体能 够 得 到 进一步 的 局 部 改进 。 


9.32  Lamarckian 模式 和 Baldwinian 模式 


在 进化 鼻 法 中 引入 局 部 搜索 的 主要 模式 包括 Lamarckian £5 x& Cu] PE fE d. bash) RI 
Baldwinian 模式 Lamarckian 模式 指 的 是 “后 天 获取 的 特性 也 可 以 遗传 ,也 就 是 说 ,在 采用 
局 部 搜索 策略 改进 了 某 个 个 体 之 后 ,改进 了 的 个 体 将 (代替 原 有 个 体 ) 参 与 全 局 搜索 方法 的 
进化 操作 。 相 反 地 ,在 Baldwinian 模式 中 ,被 局 部 搜索 策略 改进 了 的 个 体 不 会 代替 原 有 个 体 
参与 进化 操作 ,交叉 ,变异 等 进化 算 子 仍然 只 作用 于 未 被 局 部 搜索 改进 的 个 体 上 。 

目前 , 绝 大 部 分 的 MA 都 采用 了 Lamarckian 模式 的 局 部 搜索 。 事 实 上 ,Lamarckian 
模式 的 局 部 搜索 能 够 把 由 局 部 搜索 改进 得 到 的 更 优 个 体 引 入 进化 过 程 ,文献 L10」L36 等 
的 实验 结果 也 证 明了 在 一 般 情 况 下 ,Lamarckian 模式 比 Baldwinian 模式 具有 更 高 的 性 
能 。 然 而 ,Krasnogor 和 Smith 也 指出 ,如 果 不 断 执行 Lamarckian 模式 局 部 搜索 直至 
某 些 个 体 落 入 局 部 最 优 , 可 能 会 减少 算法 的 搜索 多 样 性 ,导致 算法 陷于 停滞 ,这 时 需要 采 
用 局 部 搜索 与 更 新 函数 相 结合 的 粗 粒度 方式 ,根据 整个 群体 的 分 布 状态 来 确定 局 部 搜索 
策略 。 


9.4 动态 Memetic 算法 


941 动态 MA 的 简介 与 分 类 


在 静态 MA 中 ,如 表 9. 1 所 示 的 所 有 局 部 搜索 设置 都 要 在 算法 执行 前 预先 确定 ,这 
往往 需要 依赖 于 算法 设计 者 的 先 验 知识 。 事 实 上 ,目前 对 局 部 搜索 策略 的 选择 、 局 部 搜索 
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的 位 置 .局 部 搜索 的 强度 和 频率 等 设 定 还 没有 统一 的 规范 和 指引 ,算法 设计 者 需要 开展 大 
量 实验 来 发 现 适 用 于 待 解 问题 的 局 部 搜索 设 定 方式 ,这 削弱 了 MA 的 健壮 性 ,限制 了 
MA 在 实际 生产 中 的 各 种 问题 上 的 进一步 应 用 。 为 了 进一步 提高 MA 的 普 适 性 与 健壮 
性 ,一 些 学 者 522752059 提 出 了 在 算法 执行 过 程 中 自动 调节 局 部 搜索 设置 的 策略 ,能 够 自 
动 调节 局 部 搜索 设置 的 MA 就 属于 动态 MA, 

由 于 局 部 搜索 策略 的 选择 是 MA 中 最 核心 的 局 部 搜索 设置 ,因此 ,许多 动态 MA 都 
采用 了 多 种 局 部 搜索 策略 , 即 属于 multimeme 的 MAPUS] 动态 多 局 部 搜索 的 动 
态 MA 的 流程 图 如 图 9.2 所 示 。 在 执行 局 部 搜索 前 ,这 类 多 局 部 搜索 策略 的 动态 MA 将 
先 从 局 部 搜索 策略 池 工 二 (Li , 工 ,,…, 工 , ) 中 按照 某 些 规则 自 适应 地 选择 出 一 种 局 部 搜索 
策略 ,并 采用 该 局 部 搜索 策略 对 个 体 进行 局 部 改进 。 除 此 以 外 ,一 些 动态 MA 也 考虑 了 
对 邻 域 半径 ,移动 步 长 等 局 部 搜索 参数 的 自 适应 调节 9. 


生成 初始 种 群 P^ 


和 参数 5° 


结束 
返回 最 优 解 
计算 适应 值 函 数 


从 工 中 选择 出 一 种 
局 部 搜索 策略 L; 


采用 局 部 搜索 
P'=U(P*X O*) FFL aT ， --— 7] 策略 L 进 行 局 
畏 数 得 到 新 一 代 种 群 部 搜索 


生成 函数 生成 新 群体 TT] ”部 搜索 


图 9.2 动态 多 局 部 搜索 的 MA 的 流程 图 


现 有 的 动态 MA 主要 包括 Ong 和 Keane?" 提出 的 带 Meta-Lamarckian 学 习 机 制 的 
MA ,Cowling 等 5 提出 的 超 启发 式 (hyperheuristicJMA ,以 及 Smith 407 提出 的 协同 
进化 (coevolving)MA。 针 对 已 有 的 各 种 动态 MA 算法 ,Ong 4) 提出 了 一 种 分 类 方案 。 
该 分 类 方案 按照 动态 调整 的 类 型 把 动态 MA 划分 为 静态 .适应 和 自 适应 三 类 ， 

(1) AM (static): 算法 并 没有 采用 任何 在 执行 过 程 中 在 线 获 得 的 反馈 信息 来 调 市 
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局 部 搜索 设置 ,而 只 采用 了 预先 定义 好 的 规则 来 调整 局 部 搜索 设置 。 在 这 种 情况 下 ,对 局 
部 搜索 设置 的 调整 规则 往往 也 只 能 依靠 算法 设计 者 的 先 验 知识 来 设 定 。 因 此 ,这 种 类 型 
的 动态 MA 实质 上 已 经 退化 为 静态 的 MA. 

(2) 适应 型 (adaptive) : 算法 利用 了 在 执行 过 程 中 在 线 获得 的 反馈 信息 来 调 记 局 
部 搜索 设置 ,其 中 义 可 以 划分 为 定性 (qualitative) 调 广 和 定量 (quantitative) 调 
TS. 

(3) 目 适 应 型 (self-adaptive) : 算法 把 局 部 搜索 设置 的 相关 信息 也 编码 到 个 体 中 , 伴 
随 着 算法 的 执行 ,局 部 搜索 设置 也 将 不 断 得 到 进化 。 因 此 ,上 自 适应 的 动态 MA 有 时 也 被 
称 为 协同 进化 的 MA. 

按照 动态 调整 的 日 适应 层次 ,也 可 以 把 动态 MA 划分 为 外 部 、 局 部 和 全 局 三 类 : 

(1) 外 部 型 (external) : 算法 只 采用 了 外 部 的 先 验 知 识 来 调整 局 部 搜索 设置 ,而 没有 
采用 算法 执行 过 程 在 线 获 得 的 反馈 信息 。 外 部 的 MA — fie SER T ifs MA. 

(2) 局 部 型 (local) : 算法 仅仅 采用 了 局 部 搜索 过 程 中 获取 的 部 分 反馈 信 息 来 调整 局 
部 搜索 设置 。 

(3) EEM (global): 算法 采用 了 搜索 过 程 中 的 全 部 反馈 信息 来 调整 局 部 搜索 设置 。 

接 下 来 ， li 1 将 重点 介绍 市 Meta-Lamarckian 学 习 机 制 的 MA、 超 司 发 式 MA 和 协 
同 进 化 MA 这 三 种 主要 的 动态 MA 算法 ,并 按照 上 述 分 类 方式 对 这 些 动态 MA 进行 
RR, 
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在 文献 | 37 | 中 ,Ong M Keane 提出 了 Meta-Lamarckian 学 习 的 概念 。 如 果 一 个 MA 
在 每 次 执行 局 部 搜索 之 前 ,部 和 完 从 局 部 搜索 策略 池 中 选择 出 一 种 局 部 搜索 方法 ,并 采用 
Lamarckian 方式 执行 该 局 部 搜索 , 则 称 这 种 MA 为 市 Meta-Lamarckian 学 习 的 MA, 
Ong 和 Keane?" iz il T = Phir Meta-Lamarckian 学 习 的 MA: 基本 Meta-Lamarckian 学 
习 方 案 ,-F- In] AY f E] A AL Bs 71 SVB nb A I8] HE $6 dc Us AY DG LR 77 FE 

1. 基本 Meta-Lamarckian 学 习 方 案 

基本 Meta-Lamarckian 学 习 方 案 米 用 了 一 种 简单 的 随机 游 走 方案 来 选择 局 部 搜索 素 
上 略 。 在 这 种 方案 下 ,算法 每 次 执行 局 部 搜索 之 前 虱 从 局 部 搜索 荣 上 略 池 中 随机 地 选择 一 种 
局 部 搜索 方法 。 显 然 , 这 种 方案 并 没有 借鉴 任何 在 搜索 过 程 中 在 线 得 到 的 反馈 信息 ,因此 
属于 静态 、 外 部 型 的 MA, 

2. 子 问 题 分 解 的 局 发 式 搜索 方案 

子 问题 分 解 的 局 发 式 搜 索 方 案 的 Meta-Lamarckian 学 习 方 式 如 图 9.3(a) 所 示 。 在 
MA 的 最 初 前 g 次 迭代 中 (8g 是 一 个 预先 设 定 的 参数 ) ,算法 仍然 来 用 随机 游 走 的 方式 来 
选择 局 部 搜索 策略 。 随 后 ,算法 在 每 次 执行 局 部 搜索 之 前 ,首先 从 局 部 搜索 初始 点 的 邻 域 
中 寻找 有 个 曾经 搜索 过 的 点 (例如 ,可 以 选择 离 局 部 搜索 初始 点 m k 
TEAR RII . BEIT PERK Rr E88 E HT A sp BER R R Ht PT Iz H5) 358 I EL o 
后 ,算法 将 采用 在 该 邻 域内 具有 最 大 平均 适应 值 的 局 部 搜索 策略 。 
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计算 智能 
统计 局 部 搜索 初始 点 的 邻 域 中 的 历 
"Pra TA 13r a B E 
y PE E M NS 执行 了 局 部 搜索 后 , 根据 局 部 
搜索 取得 的 适应 值 改进 情况 调 


平均 适应 值 的 局 部 搜索 策略 
Ww 


+ 局 部 搜索 ] 
x 局 部 搜索 2 
O 局 部 搜索 3 
D 局 部 搜索 4 
9 局 部 搜索 5 
W 局 部 搜索 6 


* 局 部 搜索 7 
A 局 部 搜索 8 


初始 时 ， 各 种 局 部 搜索 策 随后 ,各 种 局 部 搜索 策略 
略 具 有 相同 的 被 选择 概率 ”具有 不 同 的 被 选择 概率 


(a) 子 问题 分 解 的 启发 式 搜索 方案 (b) 市 偏向 性 轮 盘 赌 的 随机 搜索 方案 
图 9.3 两 种 在 线 调节 局 部 搜索 策略 的 Meta-Lamarckian “4 2J EL fa] 2^ 


这 种 策略 借鉴 了 历史 信息 来 在 线 调 节 局 部 搜索 设置 ,因此 属于 适应 型 的 动态 MA, 
为 一 方面 ,这 种 策略 只 采用 了 邻 域 内 的 历史 信息 ,而 不 是 采用 全 局 历史 信息 ,因此 属于 局 
部 型 的 动态 MA。 

3. 市 偏 回 性 轮 盘 周 的 随机 搜索 方案 

带 偏 回 性 轮 盘 赌 的 随机 搜索 方案 的 Meta-Lamarckian 学 习 方 式 如 图 9. 3(b) 所 示 。 
这 种 MA 采用 了 轮 盘 赌 机 制 来 选择 局 部 搜索 策略 。 在 算法 开始 时 ,各 种 局 部 搜索 策略 被 
选择 的 概率 是 相同 的 。 算 法 首先 按照 随机 给 定 的 次 序 把 每 一 种 局 部 搜索 策略 都 执行 一 
次 ,并 根据 各 种 局 部 搜索 策略 所 市 来 的 适应 值 改进 幅度 来 调节 局 部 搜索 被 选择 的 概率 。 
随后 ,算法 在 每 次 执行 局 部 搜索 之 前 都 采用 轮 盘 赌 方式 选择 一 种 局 部 搜索 策略 ,并 在 局 部 
搜索 执行 完毕 后 更 新 该 局 部 搜索 策略 被 选 择 的 概率 。 文 献 [8] 也 采用 了 类 似 的 机 制 来 选 
FE Ja HB IR Ae R MA o 

与 子 问 题 分 解 的 局 发 式 搜 索 方 案 类 似 , 带 偏 回 性 轮 盘 赌 的 随机 搜索 方案 也 属于 适应 
型 的 动态 MA。 由 于 市 偏 回 性 轮 盘 赌 的 随机 搜索 方案 采用 了 全 局 的 历史 信息 而 非 局 部 信 
居 , 因 此 它 还 属于 全 局 型 的 动态 MA. 
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传统 的 MA 往往 利用 了 与 待 解 问题 或 搜索 区 域 相关 的 司 发 式 方法 (heuristic) 来 进行 
局 部 搜索 。 由 于 这 些 启发 式 问 题 是 相关 的 ,为 了 提高 算法 的 健壮 性 ,Cowling 等 ”” 提出 
本 超 局 发 式 (hyperheuristic) 的 概念 ,利用 与 问题 无 关 的 “ 超 局 发 式 ” 日 动 地 选择 合适 的 局 
发 式 来 进行 局 部 搜索 。Cowling 等 把 “ 超 启发 式 ”分 为 三 类 , 即 随机 超 启发 式 、 贪 心 超 启发 
式 和 基于 选择 羡 数 的 超 局 发 式 。 

1. BRAK 

随机 超 司 发 式 包 括 Simplerandom, Randomdescent 和 Randompermdescent 三 种 。 
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Simplerandom 方式 与 基本 Meta-Lamarckian 学 习 方 案 相 类 似 , 该 方式 完全 随机 地 选择 局 
部 搜索 策略 ,并且 各 种 局 部 搜索 策略 的 被 选择 概率 保持 不 变 。 因 此 ,Simplerandom 属于 
静态 .外 部 型 的 MA。Randomdescent 方式 初始 时 也 完全 随机 地 选择 局 部 搜索 策略 ,当选 
择 了 一 种 局 部 搜索 策略 后 ,Randomdescent 将 一 直 采 用 该 局 部 搜索 策略 ,直到 该 局 部 搜索 不 
能 取得 适应 值 更 好 的 改进 解 为 止 。Randompermdescent 方式 与 Randomdescent 方式 类 似 , 只 
是 初始 化 时 并 不 是 随机 地 选择 局 部 搜索 策略 ,而 是 先 随 机 地 生成 一 个 局 部 搜索 策略 序列 , 按 
照 该 序列 给 定 的 顺序 来 选择 局 部 搜索 。Randomdescent 和 Randompermdescent 都 属于 适应 、 
局 部 型 的 MA。 

2. 交心 超 局 发 式 “ 

贪心 超 司 发 式 把 所 有 的 局 部 搜索 策略 和 都 作用 到 局 部 搜索 的 初始 点 上 ,然后 选择 能 够 
获取 最 大 改进 幅度 的 局 部 搜索 蛇 略 。 显 然 , 这 种 方式 将 导致 巨大 的 计算 量 。 贪 心 超 司 发 
式 也 是 属于 适应 .局 部 型 的 MA. 

3. 基于 选择 函数 的 超 启 发 式 -0461 38 

在 基于 选择 曙 数 的 超 司 发 式 的 MA 中 ,每 次 选 撞 局 部 搜索 宵 略 前 , 鼻 法 都 计算 每 
种 局 部 搜索 策略 的 选择 函数 下 。 下 由 三 个 部 分 构成 ,包括 该 局 部 搜索 策略 最 近 取 得 的 
改进 幅度 ,该 局 部 搜索 策略 与 其 他 局 部 搜 寺 策略 连续 应 用 时 能 够 取得 的 改进 幅度 ,以 
及 距离 上 一 次 使 用 该 局 部 搜索 策略 的 时 间 长 短 。 在 评价 了 各 种 局 部 搜 寺 策略 的 选择 
浮 数 后 ,算法 将 耳 接 选择 具有 最 大 选择 函数 值 的 局 部 搜索 策略 ( 称 为 Straightchoice) ,或 
者 采用 选择 也 数 值 最 蜗 的 大 干 个 局 部 搜索 策略 ( 称 为 Rankchoice) ,或 者 按照 轮 盘 赌 方 
式 选 择 局 部 搜索 胰 略 ( 称 为 Roulettechoice)。 基 于 选择 函数 的 超 局 发 式 属 于 适应 全 局 
型 的 MA。 
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在 人 其 的 进化 历史 中 ,生物 进化 与 文化 进化 相互 联系 ,相互 影 啊 ,是 一 个 协同 进化 的 
过 程 。 受 此 启发 ,在 文献 [13]、[17]、L39]、[40] 中 ,不 仅 候 选 解 被 编码 到 个 体 的 基因 中 ,局 
部 搜索 的 相关 设置 也 被 编码 到 个 体 的 文化 基因 (meme) 中 ,基因 与 文化 基因 一 起 在 算法 执 
行 过 程 中 协同 进化 ,这 种 类 型 的 MA 就 称 为 协同 进化 (coevolving) 的 MA。Krasnogor 和 
Gustafson LA] qp Jp ix 26 7X 3: BRA BL ^E IJ Cself-generating) If] MA, 

协同 进化 MA 的 流程 图 如 图 9. 4 所 示 。 算 法 自 完 需要 把 各 种 局 部 搜 过 设置 ( 包 括 局 
部 搜索 策略 .局 部 搜索 的 执行 方式 以 及 局 部 搜索 深度 频率、 邻 域 大 小 等 各 种 参数 ) 编 码 成 
文化 基因 。 这 样 ,每 个 个 体 不 仅 具 有 代表 候选 解 的 基因 ,还 具有 代表 局 部 搜索 设置 的 文化 
FED. FERRITE ACE ,算法 不 仅 通 过 选择 .交叉 和 变异 算 子 来 进化 各 个 个 体 的 基因 ,还 利 
用 这 些 进化 操作 来 进化 各 个 个 体 的 文化 基因 。 最 后 ,每 个 个 体 都 按照 它 的 文化 基因 所 代 
表 的 局 部 搜索 方式 对 其 基因 进行 局 部 改进 (注意 ,图 9.4 中 的 流程 图 参考 了 文献 [13] 给 出 
了 3 种 不 同 的 选择 方式 , 即 直 接 保留 上 一 代 的 文化 基因 ,根据 文化 基因 的 适应 值 采 用 轮 检 
赠 方 式 选 摔 文 化 基因 ,或 随机 地 选择 文化 基因 ) 。 

除了 上 述 提 到 的 动态 MA 外 ,文献 [41]~ 文 献 [43] 也 分 别提 出 了 不 同 的 动态 MA 算 
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和 参数 8 


结束 


返回 最 优 解 


评价 基因 和 文化 基因 


的 适应 值 ] 子 程序 开始 


根据 基因 的 适应 值 ， | 
选择 出 新 一 代 种 群 选择 方式 ? 


对 基因 的 行 交叉 、 变 异 
操作 ， 得 到 下 一 代 群 休 BOERE | [按照 文化 基因 | [| nean 
uta 的 适应 值 选 择 | | POAT 


对 文化 基因 (meme) 


进行 进化 操作 对 选择 出 的 文化 基因 和 群 

体 进行 交叉 和 变异 操作 
每 个 个 体 都 按照 它 的 文 
化 基因 所 表示 的 局 部 搜 
索 方式 来 进行 局 部 搜索 


图 9.4 协同 进化 MA 的 流程 图 


法 。 按 照 9. 4. 1 节 介 绍 的 分 类 方式 "” ,上 述 动态 MA 的 分 类 如 表 9. 2 所 示 。 
表 9.2 动态 MA 的 分 类 


基本 Meta-Lamarckian 学 

外 部 367, Simplerandom"!* , 

(external) | 多 局 部 搜索 (mnultirlocal- 
search) MA: 


子 问 题 分 解 的 启发 式 搜索 中 ,贪心 | 协同 进化 MAHO (或 
HA R RUH, Randomdescenth , | 自生 MAD?935, Bag 
RandompermdescentL4 ， 应 MAU 


带 偏 向 性 轮 盘 赌 的 随机 搜索 1, 基 
全 局 于 PSO 的 MAP! ,基于 选择 函数 的 
(global) BUA Ac FOOSE] ,快速 适应 MA 


d 


(fast adaptive MA)-*- 
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9.5 Memetic 算法 的 理论 与 应 用 研究 展望 


1. MA 的 理论 研究 进展 

在 Memetic 算法 的 理论 全 究 领 域 ,为 了 系统 地 分 析 现 有 的 MA, Krasnogor 和 
Smith "提出 了 一 种 语法 框架 来 描述 MA。 该 语法 框架 的 九 种 基本 要 素 已 经 在 9. 2 节 中 
给 出 。 根 据 该 语法 框架 ,任意 一 种 MA 都 可 以 由 这 些 基本 要 素 以 及 相关 的 语法 关系 表示 
出 来 ,并 可 以 实现 对 MA 的 分 类 。 该 语法 框架 为 分 析 各 种 MA 的 特性 提供 了 依据 。 

针对 动态 的 MA,Ong 等 " 引 以 传统 遗传 算法 的 收敛 性 为 基础 ,利用 马尔 可 夫 链 理论 
进一步 证 明了 外 部 、 局 部 和 全 局 三 类 适应 型 的 动态 MA 的 收敛 特性 ,并 结合 实验 分 析 , 发 
现 全 局 ,适应 型 的 动态 MA 往往 能 够 取得 较 好 的 性 能 。 

除了 上 述 理论 分 析 以 外 ,Ong 等 "指出 目前 对 MA 的 搜索 行为 ,性 能 和 收敛 性 的 相 
关 理 论 分 析 还 基本 处 于 空白 状态 。 从 理论 上 更 深入 地 分 析 MA 的 搜索 机 制 ,将 有 助 于 提 
HERI MA ,是 MA 领域 的 一 个 重要 全 究 分 文 。 

2. MA 的 应 用 研究 进展 

MA 能 够 把 进化 算法 和 局 部 搜索 算法 的 全 局 与 局 部 搜索 能 力 缩合 起 来 ,在 解决 复杂 、 
大 规模 问题 时 具有 明显 的 优势 。MA 目前 已 经 广泛 地 应 用 于 连续 空间 和 离散 空间 领域 的 
各 类 优化 问题 之 中 ,具有 广阔 的 应 用 前 景 。 例 如 ,在 连续 空间 的 优化 问题 领域 ,文献 [28]、 
[29 ].[35 37 等 提出 的 MA 在 求解 连续 图 数 优 化 问题 时 取得 了 民 好 的 性 能 ;在 离散 空 
间 的 优化 问题 领域 ,MA B 28 AT al TE DC FOS | ^ YX AP Hie (quadratic assignment 
problem)?! , & £4 di 1$ 47"! 和 流 车 间 调 度 Cflowshop scheduling problem) 等 组 合 优化 问 
题 上 成 功 应 用 ,其 中 文献 L19j 还 在 含有 百 万 个 以 上 城市 的 TSP 实例 中 发 现 了 比 已 知 最 优 
解 更 短 的 路 径 。 除 此 以 外 ,MA 成 功 地 应 用 在 蛋白 质 结构 预 测 ) 、 蜂 窝 移 动 网 络 的 蜂 格 
UU ALIA EAL fv. ^r Bo 、 集 装 箱 配 装 天 、 超 大 规模 集成 电路 布线 、 永 磁 同 步 电 动 
Bid dap ^ 癌症 的 化 疗 方案 设计 "和 波 分 多 路 复 用 (wavelength division multiplexing) 
网 络 中 的 共享 通道 保护 算法 设计 9 等 实际 优化 问题 之 中 ， 

如 何 进一步 拓展 MA 的 应 用 领域 ,在 更 多 实际 应 用 中 发 挥 MA 的 特有 优势 ,一 直 是 
MA 领域 的 研究 热点 。 

3. MA 的 发 展 趋势 

由 于 MA 在 局 部 搜索 与 全 局 搜索 相 结 合 的 过 程 中 存在 着 大 量 的 选择 方案 和 参数 设 
置 ,如 何如 人 鲍 对 人 为 先 验 知 识 的 依赖 ,增强 算法 的 普 适 性 和 和 鲁 棒 性 ,并 符 试 把 MA 应 用 到 
更 复杂 的 问题 之 中 ,是 目前 MA 发 展 的 主要 趋势 。 近 年 来 出 现 的 较 具 影响 力 的 MA 发 展 
方向 包括 以 下 几 项 。 

(1) 日 适应 和 协同 进化 的 MA 

在 9.4.4 市 已 经 提 到 ,通过 把 局 部 搜索 设置 也 编 公 到 文化 基因 (meme) 中 ,协同 进化 
MA 可 以 实现 对 代表 候选 解 的 基因 和 代表 局 部 搜索 设置 的 文化 基因 的 共同 进化 ,从 而 避 
倪 了 对 局 部 搜索 方式 的 人 为 设 定 ,增强 了 MA 的 健壮 性 。 如 何 从 理论 上 分 析 协 同 进化 
MA 的 搜索 行为 和 收 仇 特性 ,从 算法 设计 的 角度 完善 协同 进化 的 方式 ,仍然 有 待 进一步 的 
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RRON, 

(2) 多 目标 MA 

求解 多 目标 优化 问题 的 MA 近年 来 已 经 逐渐 成 为 MA 领域 的 研究 热点 之 一 。 
文献 [18]、L46]、[47] 提 出 的 多 目标 MA 算法 ,已 经 初步 取得 了 较 好 的 性 能 。 多 目标 优化 
问题 要 求 算 法 能 够 发 现 问题 的 由 又 托 玉 泊 解 集 , 而 非 单 个 最 优 解 。 因 此 ,多 目标 优化 往往 
要 求 算 法 能 够 保持 足够 的 搜索 多 样 性 ,这 进一步 增 大 了 维持 MA 中 局 部 搜索 与 全 局 搜索 
的 平衡 的 难度 2 。 如 何 维持 局 部 搜索 和 全 局 搜索 的 平衡 ,如 何 设计 适用 于 多 目标 优化 的 
自 适应 方案 ,都 将 是 多 目标 MA 研究 领域 值得 关注 的 问题 。 

(3) 基于 智能 体 (agent-based) 的 MA 

多 智能 体系 统 (multi-agent system) 是 指 由 多 个 相互 影响 的 智能 体 所 构成 的 系统 ,各 
个 智能 体 分 别 具 有 自治 ,局 部 认 知 、 全 局 认 知 等 特性 。 利 用 多 智能 体系 统 和 元 启发 式 
(meta-heuristic) 算 法 之 间 的 相似 性 ,Milano 和 Roli^* 提出 了 元 启发 式 算 法 的 多 智能 体 
体系 结构 。GA、ACO、PSO 以 及 MA 都 属于 典型 的 元 启发 式 算法 。 因 此 ,通过 把 群体 看 
成 是 多 个 智能 体 的 集合 ,把 多 智能 体系 统 的 特性 引入 MA, Ullah 等 外 提出 了 基于 智能 体 
的 MA, 并 发 现 多 智能 体 的 特性 将 有 助 于 进一步 提高 MA 的 性 能 。 基 于 智能 体 的 MA H 
前 还 是 一 个 刚刚 起 步 的 研究 领域 ,2009 年 的 IEEE 进化 计算 国际 会 议 (CEC2009) 将 有 一 
个 独立 的 专题 探讨 基于 智能 体 的 MA, 


9.6 ASTM 


1. 请 指出 Memetic 算法 的 基本 思想 来 源 。 

2. Memetic 算法 与 遗传 算法 、 蚁 群 优化 .粒子 群 优化 等 基于 群体 的 计算 智能 方法 相 
比 ,最 根本 的 区 别 是 什么 ?这 些 区 别 将 带 来 什么 好 处 ? 

3. 什么 是 静态 的 Memetic 算法 ? 什么 是 动态 的 Memetic 算法 ? 两 者 的 区 别 是 什么 ? 
与 静态 的 Memetic 算法 相 比 ,动态 的 Memetic 算法 有 什么 优势 ? 

4. 试 述 Meta-Lamarckian 学 习 型 Memetic 算法 , 超 启 发 式 Memetic 算法 和 协同 进化 
Memetic 算法 。 它 们 分 别 属于 哪 一 类 型 的 Memetic 算法 ? 

5. WIE Memetic 算法 的 发 展 超 势 和 应 用 六 时 。 

6. 2-opt 是 在 求解 TSP 问题 时 一 个 第 用 的 局 部 搜索 策略 。 通 过 查阅 相关 的 参考 文 
B. 了 解 该 局 部 搜索 策略 ,并 上 机 编 与 完整 的 程序 ,实现 以 下 的 两 个 算法 : 

(1) Lamarckian 模式 的 蚁 群 算法 与 2-opt 局 部 搜索 方法 相 结 合 的 求解 TSP 的 
Memetic 算法 ; 

(2) Baldwinian 模式 的 蚁 群 算法 与 2-opt 局 部 搜索 方法 相 结 合 的 求解 TSP 的 
Memetic 算法 ， 

在 实现 过 程 中 ,Lamarckian 模式 和 Baldwinian 模式 的 区 别 是 什么 ”观察 上 述 两 个 算 
法 的 上 机 实验 结 采 ,在 一 般 情况 下 ,哪个 算法 的 性 能 更 优 ? 为 什么 ? 
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(IIR KAR BRA 


在 物理 学 实验 中 ,对 固 
体 进 行 加 热 ,让 其 在 高 温 
AS PAH. 


= 在 高 温 状态 下 ， 固 体内 部 的 粒子 以 相同 

的 概率 处 于 任何 一 种 状态 。 组 人 慢 退 火 ， 让 物 
te " 体 徐 徐 冷 却 ， 最 终 稳 定 在 一 个 最 优 的 状态 。 
固体 在 高 温 状 态 下 通过 退火 冷却 到 低温 状态 ,最 
终 稳定 在 一 个 最 佳 状态 ,这 本 身 是 一 个 优化 的 过 程 。 
我 们 能 否 借鉴 固体 物理 退火 的 过 程 ,设计 一 种 最 优 
化 算法 呢 ? 


oue 模拟 退火 (Simulated Annealing,SA) 算 法 就 是 从 物理 退火 


过 程 得 到 启发 ， 从 而 设计 出 来 的 最 优化 方法 。 


* 
a 
i 
E 
un 
Mt 


模仿 人 类 的 记忆 人 能力 ， 
TRIEZ RiT T 
搜索 (Tabu Search,TS) 算 法 。 


(I 


人 在 日 党 活动 中 ,总 是 会 对 曾经 做 过 的 囊 

衣 有 所 记忆 。 这 种 记忆 特性 能 避免 重复 做 一 些 

HIXHJSHTH 。 例 如 在 一 个 三 贫 路 口 ， 左 边 的 路 

已 经 走 过 并 且 确 定 不 能 到 达 目 的 地 ， 那 么 在 这 
次 选择 中 融会 避免 重复 走 这 条 铬 放 的 路 线 。 
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在 前 面 的 草 方 中, 通过 对 神经 网 络 .模糊 逻辑 和 进化 计算 这 三 个 计算 和 镶 能 中 的 主要 人 研 
究 领 域 进行 学 习 , 相 信 读 者 已 经 对 计算 智能 方法 有 了 比较 次 和 人 的 认识 和 理解 。 在 本 章 中 ， 
我 们 将 介绍 另外 两 种 算法 ,分别 是 模拟 退火 算法 和 葵 尽 搜索 算法 。 这 两 种 算法 也 是 属于 
计算 智能 的 分 支 , 但 是 它们 和 进化 计算 中 的 算法 有 个 明显 的 不 同 之 处 在 于 ,进化 计算 是 基 
于 群体 搜索 的 ,但 是 模拟 退火 算法 和 禁忌 搜索 算法 都 是 属于 单 点 搜索 算法 ,鉴于 此 ,我 们 
将 在 本 和 草 对 这 两 种 算法 进行 介绍 。 
和 前 面 介 绍 的 算法 类 似 , 我 们 将 从 算法 的 思想 、 基 本 流程 对 算法 进行 一 个 简要 的 介 
绍 ,然后 通过 一 个 例子 对 算法 的 使 用 进行 说 明 。 本 章 的 主要 内 容 包 括 
© 模拟 退火 算法 
as BYE 12H 
e FEARS Tit FE 
e Jor FA Bil] 
。 禁忌 搜索 算法 
名 算法 思想 
基本 流程 
人 应 用 举例 


10.1 模拟 退火 算法 


10.1.1 算法 思想 


模拟 退火 (Simulated Annealing, SA) 算 法 的 基本 思想 , 早 在 1953 年 就 已 经 由 
Metropolis 提出 中 。 不 过 直到 1983 年 ,Kirkpatrick 等 人 才 真 正成 功 地 将 模拟 退火 算法 
应 用 到 求解 组 合 优化 问题 上 站 ,模拟 退火 算法 才 逐 渐 为 人 们 所 接受 ,并 且 成 为 一 种 有 效 的 
优化 算法 ,在 很 多 工程 和 科学 领域 得 到 广泛 的 应 用 。 

模拟 退火 算法 的 思想 来 源 于 物理 退火 原理 ,如 图 10.1 所 示 。 在 热力 学 和 统计 物理 学 
的 研究 中 ,物理 退火 过 程 是 首先 将 固体 加 温 至 温度 充分 高 ,再 让 其 徐徐 冷却 。 加 温 时 , 固 
体内 部 粕 子 随 着 温度 的 升 高 而 变 为 无 序 状态 ,内 能 增 大 ,而 徐徐 冷却 时 粒子 渐 趋 有 序 , 如 
果 降 温 速 度 足 够 慢 , 那 么 在 每 个 温度 下 ,粒子 痢 可 以 达到 一 个 平衡 态 , 最 后 在 常温 时 达到 


图 10.1 固体 从 高 温 状 态 退 火 冷 却 到 低温 状态 过 程 示 意图 
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基态 ,内 能 减 为 最 小 。 另 一 方面 ,粒子 在 某 个 温度 工时 ,固体 所 处 的 状态 具有 一 定 的 随机 
性 ,而 这 些 状态 之 加 的 转换 能 否 实 现 由 Metropolis 准则 决定 。 

Metropolis 准则 定义 了 物体 在 某 一 温度 本 下 从 状态 i 转移 到 状态 7 的 概率 Pi ,如 公 
式 (10.1) 所 示 。 

i; EQ) = EG) 

eo mr) =e (kr), 其 他 

其 中 为 自然 对 数 ,E(i) 和 EC) 分 别 表 示 固 体 在 状态 i 和 7 下 的 内 能 , AE= ECG) — 
EG) ,表示 内 能 的 增 量 ,K ZEUERZA SS (Boltzmann) 7$ 2C. 

从 Metropolis 准则 可 以 看 到 ,在 某 个 温度 T F ,系统 处 于 有 某 种 状态 ,由 于 粒子 的 运动 , 系 
统 的 状态 会 发 生变 化 ,并 且 寻 致 系统 能 量 的 变化 。 如 采 杰 化 是 绷 看 减少 系统 能 量 的 方 回 进 
行 的 ,那么 就 接受 该 变化 ,否则 以 一 定 的 概率 接受 这 种 变化 。 男 一 方面 ,从 Pj 的 公式 可 以 看 
到 ,在 同一 温度 下 ,导致 能 量 增加 的 增加 量 AE= 二 E(j) 一 E(i) 越 大 ,接受 的 概率 越 小 ;而 且 随 
着 温度 工 的 降低 ,接受 系统 能 量 增 大 的 变化 的 概率 将 会 越 小 ,图 10. 2 KRAE KAL, T 
分 别 取 3 和 2 RES. PCT) Bii AE 的 变化 而 变化 的 曲线 。 由 图 10.2 可 见 , 随 看 温度 的 降低 ， 
能 量 增加 的 状态 将 变 得 更 难 被 接受 。 当 温度 趋 于 0 时 ,系统 接受 其 他 使 得 能 量 增 加 的 状态 
的 概率 趋 于 0, 所 以 系统 最 终 将 以 概率 1 处 于 一 个 具有 最 小 能 量 的 状态 。 


P; = (10. 1) 


温度 T-2; P-exp(-AE/2) 


i WE AE 7—3; P=exp(—AE/3) 


F4 


10 
图 10.2 温度 分 别 为 3 和 2 时 Metropolis 接受 概率 与 能 量 增 量 的 关系 示意 图 


模拟 退火 算法 在 优化 问题 的 时 候 , 采 用 的 就 是 类 似 于 物理 退火 让 固体 内 部 粒子 收 伍 
到 一 个 能 量 最 低 状态 的 过 程 , 实 现 算法 最 终 收 敛 到 最 优 解 的 目的 。 表 10. 1 给 出 了 模拟 退 
火 算法 和 物理 退火 过 程 相关 概念 的 类 比 关系 。 

算法 首先 会 生成 问题 解 空间 上 的 一 个 随机 解 , 然 后 对 其 进行 扰动 ,模拟 固体 内 部 粒子 
在 一 定 温度 下 的 状态 转移 。 算 法 对 扰动 后 得 到 的 解 进行 评估 ,将 其 与 当前 解 进行 比较 并 
HAIE Metropolis 准则 进行 替换 。 算 法 会 在 同一 温度 下 进行 多 次 扰动 ,以 模拟 固体 内 部 
的 多 种 能 量 状态 。 另 外 ,模拟 退火 算法 还 通过 自身 参数 的 变化 来 模仿 温度 下 降 的 过 程 。 
算法 参数 工 代 表 温 度 , 每 一 代 逐 渐变 小 。 在 每 一 代 中 ,算法 根据 当前 温度 下 的 Metropolis 
转移 准则 对 解 进行 扰动 。 这 样 的 操作 在 不 同 的 温度 下 不 断 地 重复 ,直到 温度 降低 到 某 个 指 
定 的 值 。 这 时 候 得 到 的 解 将 作为 最 终 解 ,相当 于 固体 的 能 量 最 低 状态 。 
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3& 10.1 物理 退火 过 程 和 模拟 退火 算法 的 基本 概念 对 照 表 


物理 退火 过 程 模拟 退火 算法 
物体 内 部 的 状态 问题 的 解 空 间 ( 所 有 可 行 解 ) 
状态 的 能 量 解 的 质量 (适应 度 函 数值 ) 
温度 控制 参数 
KE ao RE 议定 初始 温度 
退火 冷却 过 程 控制 参数 的 修改 (温度 参数 的 下 降 ) 
能 量 最 低 状 态 Tc UL E 


10.1.2 基本 流程 
模拟 退火 算法 在 求解 最 优化 问题 的 时 候 ,算法 的 基本 流程 图 和 伪 代 码 如 图 10. 3 所 示 。 


// 功 能 : 模拟 退火 算法 伪 代 码 
// 说 明 : 本 例 以 求 问 题 最 小 值 为 目标 
初始 化 : 随机 选择 一 个 解 i, 计算 适应 值 .f(D)。 // 参 数 : T 为 初始 温度 ; 工 为 内 层 循 环 次 数 
设置 代数 A0, NRE t7 T, FA s =i — 
//Initialization 
满足 终止 条 件 ? Randomly generate a solution X;, and 
calculate its fitness value f(X)); 
Xbest— Xp; K=O; ty—T; 
while not stop 
//The search loop under the temperature t; 
for i-1 to L // The loop times 


Generate a new solution Xa, based on 


从 的 邻 域 中 随机 选择 一 个 解 j 


WAR 的 适应 值 fC ) the current solution NB, and calculate 


its fitness value f£(X,.). 
if fF (Xe) < Ê (Xx) 
X= Anew F 
iff(X.)« £ (Kost ) Xes =X; 
i 算 接受 要 率 P( f, ) =e IG DU] continues; 
end if 
CalculateP(t,)-e LEPE IH > 
if random(0,1)<P 
Ar” Awr 
end if 
end for 
//Drop down the temperature 
tkii1-7drop(ty);k-kt1; 
end while 
print Xm 
end procedure 


图 10.3 模拟 退火 算法 的 流程 图 和 伪 代 码 


图 10. 3 给 出 的 是 模拟 退火 算法 的 基本 框架 ,针对 具体 问题 时 还 需要 具体 的 设计 。 从 
流程 图 中 可 以 看 到 模拟 退火 具有 两 层 循环 ,内 循环 模拟 的 是 在 给 定 的 温度 下 系统 达到 热 
平衡 的 过 程 。 在 该 循环 中 ,每 次 都 从 当前 解 i 的 邻 域 中 随机 找 出 一 个 新 解 ,然后 按照 
Metropolis 准则 概率 地 接受 新 解 。 算 法 中 的 random(0,1) 是 指 在 区 则 [0,1] 上 按 均匀 分 
布 产 生 一 个 随机 数 , 而 所 请 的 内 层 达 到 热 平 入 也 是 一 个 宠 统 的 说 法 ,可 以 定义 为 人 循环 一 定 
的 代数 ,或 者 基于 接受 率 定义 平衡 等 。 算 法 的 外 层 循 环 是 一 个 降温 的 过 程 , 当 在 一 个 温度 
下 达到 平衡 后 ,开始 外 层 的 降温 ,然后 在 新 的 温度 下 重新 开始 内 循环 。 降 温 的 方法 可 以 根 
据 上 有 具体 问题 具体 设计 ,而 且 算 法 流程 图 中 给 出 的 初始 温度 T 也 需要 算法 的 使 用 者 根据 有 具 
体 的 问题 而 制定 。 

从 图 10. 3 给 出 的 流程 图 和 伪 代 码 可 以 看 到 ,模拟 退火 算法 在 求解 最 优化 问题 的 时 
候 , 涉 及 以 下 几 个 方面 的 基本 要 系 。 

1. 初始 温度 

初始 温度 to 的 设置 是 影响 模拟 退火 算法 全 局 搜索 性 能 的 重要 因素 之 一 "  。 实 验 表 
Hj] , 初 温 越 大 ,获得 高 质量 解 的 几率 越 大 ,但 花费 的 计算 时 间 将 越 多 。 因 此 , 初 温 的 确定 应 
折 囊 考虑 优化 质量 和 优化 效率 ,常用 方法 包括 以 下 几 种 。 

。 均匀 抽样 一 组 状态 ,以 各 状态 目标 值 的 方差 为 初 温 ; 

。 随机 产生 一 组 状态 ,确定 两 两 状态 间 的 最 大 目标 值 差 |Amax| ,然后 依据 差 值 , 利 

用 一 定 的 函数 确定 初 温 。 例 如 ,to 二 一 Amax/p; ,其 中 p, 为 初始 接受 概率 ; 

* 利用 经 验 公 式 给 出 初始 温度 。 

2. Six es By 

邻 域 图 数 ( 状 态 产 生 图 数 ) 应 尽 可 能 保证 产生 的 候选 解 志 布 全 部 解 空 间 , 通 稼 由 两 部 分 
组 成 , 即 产 生 候选 解 的 方式 和 候选 解 产生 的 概率 分 布 。 候 选 解 一 般 采 用 按照 某 一 概率 密度 
曙 数 对 解 空 间 进行 随机 采样 来 获得 。 概 诗 分 布 可 以 是 均 习 分 布 `. 正 仿 分 布 .指数 分 布 等 。 

3. 接受 概率 

指 从 一 个 状态 X (一 个 可 行 解 ) 癌 为 一 个 状态 X new (为 一 个 可 行 解 ) 的 转移 概率 ,通俗 
的 理解 是 接受 一 个 新 解 为 当前 解 的 概率 。 它 与 当前 的 温度 参数 n, 有 关 , 随 温度 下 降 而 减 
小 。 一 般 采 用 Metropolis 准则 ,如 前 面 的 公式 (10. 1) 所 示 。 

4. 冷却 控制 

指 从 某 一 较 高 温 状态 to 向 较 低 温 状 态 冷 却 时 的 降温 管理 表 , 或 者 说 降温 方式 。 假 设 
Hs Za] e 的 温度 用 来 表示 , 则 经 典 模拟 退火 算法 的 降温 方式 为 中 和 |. 


Lo | | 
而 快速 模拟 退火 算法 的 降温 方式 为 . 
E Lo i z 
f Er (10.3) 


1X PARE 7; A AB RE EP 8 FER B K RA A T a/R 


内 层 平衡 也 称 Metropolis 抽样 稳定 准则 ,用 于 决定 在 各 温度 下 产生 候选 解 的 数目 。 
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计算 智能 


第 用 的 抽样 稳定 准则 包括 以 下 儿 项 。 


。 检验 目标 孔 数 的 均值 是 否 稳 定 ; 

。 连续 若干 步 的 目标 值 变 化 较 小 ; 

。 预先 设 定 的 抽样 数目 ,内 循环 代数 。 
6. 终止 条 件 

算法 终止 准则 ,第 用 的 包括 以 下 几 项 。 


。 设置 终止 温度 的 国 值 ; 
。 iB BASTA; 


。 血 法 搜索 到 的 最 优 人 连续 在 干 步 你 持 不 变 ; 


iX He SEAS 3 28 H9 xx SUME XE Jr i UE] 10. 4 所 示 。 


功能 意义 


影响 模拟 退火 算法 全 局 搜索 性 能 


IDEE TEE E | 
A, PUK, TR ， 
量 解 的 几率 越 大 ， 但 化 必 的 计算 

时 间 将 增加 


状态 空间 与 状态 产生 函数 。 
Bie PE (状态 产生 函数 ) 应 尽 
可 能 保证 产生 的 候选 解 过 布 全 
HERE 2 [R] 


指 从 一 个 状态 XC TAY TA ) 
回 另 一 个 状态 Anet 另 一 个 可 行 
HE ) 的 转移 概率 , 通俗 的 理解 是 
接受 一 个 新 解 为 当前 解 的 概率 


指 从 某 一 较 高 温 状 态 to FBO 
温 状态 冷却 时 的 降 刘 党 理 表 ,或 
者 说 降温 方式 


门 层 平 衡 也 称 Metropolis 抽 样 稳 
EEN , HT GE TE rd EF 
“EGU HY CES 


算法 的 终止 条 件 


邻 域 国 数 


设置 方法 


C1) 均 习 抽样 一 组 状 人 在， 以 各 状态 目标 值 的 
Jj Fe XE ih 


(2) 随机 产生 一 组 状态 ， 以 两 两 状态 间 最 大 


Ze {ELE Wim 


候选 解 一 般 采 用 按照 某 一 概率 密度 函数 对 解 
空间 进行 随机 采样 来 获得 。 

概率 分 布 可 以 是 均匀 分 布 、 正 态 分 布 、 指 数 
分 布 等 


一 般 采 用 Metropolis 准 则 
| L E( Jy E(i) 
P E j)- Ei). AE 
lj E T | B: 其 他 
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(1) 经 典 模拟 退火 算法 的 降温 方式 tio e 
(2) 快速 模拟 退火 算法 的 降温 方式 = 12 


(1) 3S EL ERES SALE J E E E 03 Eo AE 
(2) ERE Ta HJ EH EREB] 
(3) 预先 设 定 的 抽样 数目 ， 内 循环 代数 


(1) i ELE LEER I LET 


(2) 设置 外 循环 送 代 次 数 


| (3) 算法 搜索 到 的 节 优 值 连 续 右 干 步 剑 持 不 变 


(4) 检 驻 系统 精 是 否 稳定 


图 10.4 模拟 退火 算法 的 基本 要 素 


10.1.3 & ARS 


Fría x — 4 inj 503 0-1 育 包 问题 ,说 明 模 拟 退 火 算法 在 求解 离 知 组 合 优化 问题 时 


的 流程 和 算法 步 又 。 


例 10.1 已 知 背 包 的 装载 量 为 c= 二 8, 现 在 有 n= 二 5 个 物品 ,它们 的 重量 和 价值 分 别 是 
(2,3,5,1,4) 和 (2,5,8,3,6)。 试 使 用 模拟 退火 算法 求解 该 背包 问题 , 写 出 关键 的 步骤 。 
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分 析 : 背包 问题 本 二 是 一 个 组 合 优化 问题 ,也 是 一 个 典型 的 NP 难 问 题 。 如 果 使 用 
枚 举 的 方法 ,我 们 需要 找到 个 物品 的 所 有 子 集 , 然 后 在 那些 满足 约束 条 件 的 子 集中 比较 
物品 的 总 价值 ,找到 总 价值 最 大 的 子 集 ,也 就 是 问题 的 最 优 解 。 但 是 我 们 知道 ,大 小 为 4 
的 集合 的 子 集 效 目 为 2, 所 以 当 背 包 问 题 的 规模 变 大 (2 变 大 ) 的 时 候 , 归 找 出 所 有 的 子 集 
是 一 个 不 现实 的 做 法 ,因为 计算 复杂 度 的 指数 级 增长 已 经 使 得 问题 在 规模 稍 大 的 时 候 就 
无 法 在 可 以 接受 的 时 间 内 得 到 解决 。 因 此 背包 问题 需要 采用 一 些 计 算 复 杂 度 较 低 的 ,但 
是 能 够 提供 令 人 满意 的 解 的 算法 ,而 模拟 退火 算法 是 解决 痛 包 问题 的 重要 手段 。 大 量 的 
实验 证 明 ,模拟 退火 算法 能 够 处 理 规 模 较 大 的 育 包 问题 ,而 且 能 够 角 棒 地 得 到 满意 的 解 。 

f. 这 里 假设 问题 的 一 个 可 行 解 用 0 A 1 I eS . PA 7 = (1010) Fem FE 1 
和 第 3 个 物品 , 而 不 选择 第 2 和 第 4 个 物品 。 用 模拟 退火 算法 求解 例 10. 1 的 关键 过 程 如 
图 10. 5 所 示 。 


第 二 步 : 在 7T 温 度 下 局 部 搜索 ， 直 到 “平衡 *， 假 设 平衡 
条 件 为 执行 了 3 次 内 层 循 环 
| (1) 产生 当前 解 i89—-T- SBISCRE CO e SB a HUS 
重量 WE 3:571 34] 的 问题 而 定 , 这 里 假设 为 随机 改变 革 一 位 的 01 值 或 者 交 
价值 v=(2, 5, 8, 3, 6) 换 革 两 位 的 001 值 )， 假 设 广 (11100) 
| 要 注意 产生 的 新 解 的 合法 性 ， 要 舍弃 那些 总 重量 超过 背 
包装 载 量 的 非法 解 


第 一 步 : 初始 化 。 假 设 初始 解 为 | | (2)/0)-2*5*8-15213- f () . 所 以 接受 新 解 j 
i-(11001) 初始 温度 为 T=10. j i=j; fü)-f G)-15; m B. s-i 
要 注意 求解 的 是 最 大 值 ,因此 适应 值 越 大 越 优 


Y Q) 返回 (1) 继续 执行 

假设 第 二 轮 得 到 的 新 解 二 (11010), 由 于 f( 站 2+5+3=10 
«15-2 (i), Bir UL sts ETT R fe EK PCT )-exp( FG) 0) T) 
exp(—0.5)=0.607, (Bliz random(0,1)>P(7), 则 不 接受 新 解 


第 三 步 : 降温 ， 假 设 温度 降 为 
T-9 。 如 果 没 有 达到 结束 标准 ， 
则 返回 第 二 步 继 续 执行 


D 假设 第 三 轮 得 到 的 新 解 j=(10110), 由 于 f/f( 站 =2+8+3=13 
<15=f(i), Bir D va RTT BE Se BE SS PCT )-exp(C f G)-/(G)y T )- 
exp(-0.3)=0.741 ,假设 random(0,1)<P(7T), 则 接受 新 解 按 照 


假设 在 继续 运行 的 时 候 ， 从 当前 解 
i-(10110) #52) — T TRE J = (00111), — Lez UU NIE sae kae zt 1 ELE h E SE e D — fn E ED 
vH HERR BRB f C084346-17, 人 也 是 跳出 局 部 最 优 的 一 种 手段 
这 是 一 个 全 局 最 优 解 。 可 见 上 面 过 (4) 这 时 候 ,T 温 度 下 的 “平衡 * 已 达到 ( 即 已 经 完成 了 3 次 
程 中 接受 了 劣 解 是 有 好 人 处 的 J 邻 域 产生 )， 结 束 内 层 循环 


图 10.5 用 模拟 退火 算法 求解 例 10. 1 的 步骤 图 示 


10.2 禁忌 搜索 算法 
102.1 算法 思想 
禁忌 搜索 (Tabu Search. TS) Glover F 1986 年 提出 的 一 种 全 局 搜索 算法 0 。 禁 鼠 
搜索 也 是 属于 模拟 人 类 智能 的 一 种 优化 算法 , 它 模仿 了 人 类 的 记忆 功能 ,在 求解 问题 的 过 程 


中 ,采用 了 茶 忌 技术 ,对 已 经 搜索 过 的 局 部 最 优 解 进行 标记 ,并 且 在 迭代 中 尽量 避免 重 复 相 
同 的 搜索 (但 不 是 完全 隅 绝 ), 从 而 获得 更 三 的 搜索 区 间 ,有 利于 寻找 到 全 局 最 优 解 。 
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通过 图 10. 6 所 示 的 兔子 寻找 最 高 山峰 的 例子 ,我 们 可 以 体会 禁忌 搜索 的 主要 特点 以 

Be T REIS TER SEU AE GPA RK IC 忆 的 功能 进行 模仿 的 。 禁 鼠 搜 索 算 法 的 一 个 重 
要 特点 束 是 算法 具有 “记忆 人 性”, 能够 对 已 经 搜索 到 的 解 进 行 记忆 和 选择 性 的 回避 ,因此 ， 
算法 需要 维护 一 个 至 忌 表 变量 ,该 变量 不 断 地 更 新 ,通过 加 入 新 的 茶 忌 对 象 和 解禁 旧 的 禁 
层 对 象 ,使 得 算法 能 够 避 倪 重复 在 一 个 局 部 最 优 解 附近 进行 过 多 无 请 的 操作 ,从 而 达到 扩 


(CR A RR UC 
在 这 里 设置 一 个 标记 ， 
免得 重新 来 到 这 有 


(1) 兔子 在 寻找 最 高 的 山峰 。 woe e 
后 ， 找 到 diy 的 峰 头 , E 会 在 这 里 设 
置 一 个 标记 VEDI ees * ds 
这 样 通过 “ 茶 忆 ”的 手段 ， iN EMT 
峰 头 ， 浪 费时 间 。 峰 头 AE ESRR”. 


© 


(这 里 也 是 一 个 局 部 最 优 , 因 
— 此 也 将 设置 禁忌 标记 ~ 


(2) 仇 子 继续 搜索 ， 由 于 如 开 了 了 4， 所 以 倪 子 有 可 能 忠 到 现 还 的 地 方 ， 来 
到 了 Bo AR PHASER: AAA. ARR A prin 的 推移 
iT ARSE © AS AES BIE SE ET TA] 就 是 “ FEWR” CEEKE). 


哈哈 ! 我 终于 找到 
RAR! ! ! 


(3) ATERA AIK Za ,有 意识 地 避 开 它们 (但 不 是 完全 隔绝 ), 从 而 获得 更 大 的 搜索 区 则 。 经 过 不 
断 地 “禁忌 ”和 “ 解 茜 *"， 它 找到 的 山峰 将 越 来 越 高 ， 例 如 图 中 的 兔子 已 经 找到 了 最 高 的 那个 峰 头 C 。 


图 10.6 禁忌 搜索 算法 的 搜索 行为 示意 图 


找到 全 局 最 优 解 的 目的 。 
忌 搜索 属于 一 种 计算 智能 的 算法 ,在 算法 实现 的 细节 上 涉及 禁忌 表 、 禁 忌 对 象 、 
m 则 等 概念 ,下 面 先 对 这 些 概 念 进 行 说 明 。 
定义 10.1 禁忌 表 (Tabu List,TL) 是 用 来 存放 (记忆 ) 茶 忌 对 象 的 表 。 它 是 禁忌 搜 
索 得 以 进行 的 基本 前 提 。 茜 尽 表 本 喘 是 有 容量 限制 的 , 它 的 大 小 对 存放 茶 尽 对 象 的 个 数 
有 影响 ,会 影响 鼻 法 的 性 能 。 
定义 10.2 禁忌 对 象 (Tabu Object,TO) 是 指 禁 忌 表 中 被 禁 的 那些 变化 元 素 。 
对 象 的 选择 可 以 根据 具体 问题 而 制定 。 例 如 在 旅行 商 问 题 (Traveling son 
Problem,TSP) 中 可 以 将 交换 的 城市 对 作为 禁忌 对 象 , 也 可 以 将 总 路 径 长 度 作为 禁忌 
XT ZR 
Pus 10.3 茶 忌 期 限 (Tabu Tenure, T T) th F BKE., IRIN X: S Azo RA BE Oe HA 
May, A RIOR HAD WD , 跳 不 出 局 部 最 优 ,长 度 过 长 会 造成 计算 时 间 过 长 。 
定义 10.4 渴望 准则 (Aspiration Criteria,AC) 也 称 为 特赦 规则 。 当 所 有 的 对 象 都 
被 禁忌 之 后 ,可 以 让 其 中 性 能 最 好 的 被 禁忌 对 象 解禁 ,或 者 当 某 个 对 象 解禁 会 市 来 目标 值 
的 很 大 改进 时 ,也 可 以 使 用 特赦 规则 。 
棕 忌 搜索 算法 目 提出 以 来 ,得 到 了 广 沁 的 关注 。 迄 今 为 止 ,众多 学 者 对 禁忌 搜索 进行 
了 大 量 的 研究 ， 不 断 地 完善 算法 的 性 能 与 拓展 算法 的 应 用 领域 " 重 。 研 究 者 不 但 对 禁忌 搜 
索 算 法 的 行为 方式 进行 了 理论 证 明 , 如 Faigle 和 Kernt' 纠 提出 的 针对 概率 TS 的 收敛 性 证 
明 ,Hanafi 和 Glover-!9/7 证 明 的 几 种 确定 性 版 本 的 TS 保证 了 在 有 限 的 时 间 内 找到 最 优 
解 ,等 等 ;而 且 提 出 了 各 种 改进 方案 ,如 通过 对 算法 参数 的 癸 究 ,和 希望 得 到 更 加 和 钥 傈 的 参数 
WEUS ,或 混合 其 他 现代 计算 方法 ,如 遗传 算法 、 蚊 群 算法 等 技术 对 传统 的 禁 鼠 搜索 
算法 进行 性 能 的 改进 与 提高 。 男 一 方面 ,禁忌 搜索 算法 已 经 在 组 合 优化 、 生产 调度 、 机 Ait 
Pe 2] LR TT RUP s Iv] 28 55 Lb HY RL CY LJ] » XE EE ME eB a DAT 4 2 
较 多 的 研究 ,并 大 有 发 展 的 趋势 | 。 


10.2.2 基本 流程 


禁忌 搜索 算法 在 初始 化 的 时 候 , 在 搜索 空间 随机 生成 一 个 初始 解 i. RH Bm. 
当前 解 i 记 为 历史 最 优 解 ; «ER AGE TV] ARES ERE. TERE UXOR TUB ,都 从 当前 的 解 ; 
出 发 ,在 当前 禁忌 表 H 的 限制 下 ,构造 出 解 i 的 邻 域 A ,然后 从 A 中 选 出 适应 值 最 好 的 解 
j 来 蔡 换 解 i ,同时 更 新 棕 忌 表 H., TET j RRi 之 后 ,如 采 解 ;的 质量 得 到 改善 ,那么 
历史 最 优 的 解 s 将 被 解 i 蔡 换 ;否则 ,* 保持 不 变 ,即使 解 i 虽然 暂时 变 差 了, 但 是 由 于 扩 
大 了 搜索 空间 , 仍 有 利于 跳出 局 部 最 优 。 得 到 了 新 的 当前 解 i 之 后 ,算法 返回 迭代 的 开始 
继续 进行 ,直到 找到 最 优 解 或 者 运行 了 一 定 的 迭代 次 数 等 终止 条 件 的 时 候 结束 算法 。 算 
法 的 流程 图 和 伪 代 码 如 图 10. 7 所 示 。 

图 10. 7 中 有 两 个 地 方 雷电 加 以 说 明 , — Pee fy RS s 774 HE E S Asi e AE X, 74 BU DR HE bo 
域 , 另 一 个 是 如 何 更 新 禁忌 表 。 下 面 以 旅行 商 问题 为 例 , 解 说 这 两 个 操作 。 

事实 上 ,根据 不 同 问题 的 特性 ,可 以 设计 不 同 的 邻 域 生成 方法 。 在 TSP 中 ,一 个 解 可 
以 用 一 个 城市 的 序列 表示 。 例 如 S=(a,b,c,d) 表 示 四 城市 问题 的 一 个 解 , 可 以 定义 交换 


d 
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开始 // 功 能 : 禁忌 搜索 算法 伪 代 码 

// 说 明 : 本 例 以 求 问 题 最 小 值 为 目标 

// 参 数 : i 为 当前 解 ;s 为 最 优 解 ;8H 为 禁忌 表 ; 
// 为 当前 代数 

procedure TS 


//Initialization 


初始 化 : 随机 生成 一 个 解 i， 设 置 代数 
k-0. Nm HS. 最 优 解 s=i 


Randomly generate a solution i, and 


evaluate its fitness f(i); 
s= i; k-Ü; H—- 1); 
while not stop 
//Generate the neighbors of solution i 


PERE 的 邻 域 A=N (i, H) 


从 邻 域 4 中 找 出 适应 值 最 好 
的 解 j, 令 ij. HHEN H 


ffs) 


/ /based on the tabu list H 
AN (i, B}; 
i= SelectBestSolution (A); 
Update the tabu list 4; 
iff(i)< f(s) 
S=1; 
end if 
k= kt; 
end while 
print s 


C rh end procedure 


图 10.7 禁忌 搜索 算法 的 流程 图 和 伪 代 码 


两 个 城市 构造 S 的 一 个 邻居 ,因此 可 以 得 到 S 的 邻 域 为 A 二 NN(S)=={(b,a,c,d), (csb, 
asd), (d,b,c.a), Ca,c,b,dD), (ardcsb), Ca,b,d,c)) ,共有 CC(4,2)==6 个 邻居。 不 过 ， 
在 禁忌 搜索 中 ,该 例子 构造 出 来 的 邻 域 A 可 能 没有 6 个 新 解 , 因 为 需要 通过 当前 禁忌 表 
H 的 限制 进行 邻 域 的 构造 。 假 设 当 前 禁忌 表 中 已 经 记录 了 城市 a 和 c ,6b Ale CATER TH 
的 搜索 中 进行 过 了 交换 ,那么 S 的 邻 域 变 为 A 二 N(S, H)= {(b,a,c,d), (d,b,c,a)， 
(asydsc,0)，(a,b,d,c)}。 因 此 在 这 种 情况 下 ,生成 的 邻 域 只 有 4 个 元 素 。 

关于 禁忌 表 的 更 新 操作 ,一 方面 是 为 了 刷新 已 经 被 禁忌 的 对 象 的 周期 ,让 其 在 一 定 的 
a a 以 避免 当 所 有 对 象 都 被 禁忌 之 后 ,需要 频繁 使 用 特赦 规则 ; 另 一 方 
面 是 为 了 添加 新 的 禁忌 对 象 到 禁忌 表 中 。 我 们 还 是 以 上 面 的 TSP 为 例 ,如 果 禁 鼠 表 中 已 
经 存在 已 色 交 换 过 的 城市 对 a 和 c,b 和 和 c, 而 得 到 的 邻 域 A 中 以 交换 城市 a 和 4 得 到 的 
新 解 (d ,5,c,a) 的 适应 值 为 最 优 ,那么 ,城市 对 a Ald SERA AE BRK A 中 ,避免 下 次 
重复 交换 这 两 个 城市 ， 而 原来 被 禁忌 的 (a,c) 和 (5,c) 的 被 禁忌 剩余 期 限 将 会 缩短 一 一 些 ( 例 
如 减 1). WAR H 的 更 新 ,新 的 对 象 侦 茶 忌 , 旧 的 对 象 未 渐 锐 解 译 ,有 利于 算法 在 
更 大 范围 内 寻 优 。 


10.2.3 & AA! 
为 了 说 明 禁 忌 搜 索 算 法 的 运行 机 理 , 我 们 通过 一 个 简单 的 旅行 商 问题 的 例子 来 加 次 


对 算法 的 认识 和 理解 。 
例 10.2 已 知 一 个 旅行 商 问题 为 四 城市 (a,5,c,d) 问 题 ,城市 间 的 距离 如 矩阵 D 所 
IR ,为 方便 起 见 , 假 设 邻 域 映射 定义 为 两 个 城市 位 置 对 换 , 而 始点 和 终点 城市 都 是 w。 请 
分 析 使 用 禁忌 搜索 算法 求解 该 问题 的 前 面 三 代 的 过 程 与 主要 步骤 。 
O0 T1 (05 1 


1] 0 Il l 

D = d; = l 
Lo S —w 1 
l l ] 0 


分 析 : 这 是 一 个 简单 的 问题 ,利用 枚 举 的 方法 也 可 以 找到 最 优 的 答案 ,但 是 ,找到 答案 
不 是 我 们 的 目的 ,我 们 主要 是 想 通 过 一 个 简单 的 例子 来 理解 禁忌 搜索 是 如 何 进行 工作 的 。 
从 距离 矩阵 D 可 以 看 到 ,这 是 一 个 非 对 称 的 TSP 问题 ,但 是 这 并 不 影响 算法 的 执行 。 由 于 
题目 假设 了 邻 域 构造 的 方式 ,而 且 规 定 了 始点 和 终点 都 是 城市 a, 因此 ,在 以 下 的 求解 过 程 
中 ,我 们 不 使 用 城市 a 和 其 他 城市 进行 交换 ,这 样 的 操作 并 不 会 影响 全 局 寻 优 的 能 力 。 

fip. 使 用 禁忌 搜索 算法 求解 例 10. 2 的 前 面 三 代 的 执行 步骤 如 图 10. 8 所 示 。 


步骤 0 : PAR OR i=(abed) E ELTE AAS. BOCA s =i m HABERI Be uf ELTE 
SEP da 


第 一 化 ART be AF tit bd AE cd 


"T" 1: 在 互 的 限制 下 构 霹 解 的 邻 域 4=NGi,H)={ (acbd), (adcb), (abdc), j 


J. i LL 


步骤 1-2 . 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+5+1+1=7.5 f=1+1+5+1=8 f=1+1+1+1.5=4.5 
选择 其 中 最 好 的 解 替换 解 i, PEL i=j=(abdc) 
更 新 禁忌 表 三 {(cd)2} ， 这 里 的 2 是 禁忌 长 度 ， 意 思 是 说 未 来 2 代 内 避免 交换 城市 c< 和 4 


pk 1-3: 由 于 f(D)=4.5>4=f(s)， 所 以 最 优 解 s 你 持 不 变 


BE 4 交换 bc 交换 bd 


步骤 2-1: E HASRA FRE ASEE AN (i, H = (acdb ), (adbc), 


步骤 2-2: 计算 邻 域 4 中 每 个 新 解 的 适应 值 J=0.5+1+1+1=3.5 f=l+1l+l+l1.5=4.5 
选择 其 中 最 好 的 解 / ERRE LATE i=j=(acdb) 
BH ote H={(cd)1(be)2} 


步骤 2-3: tH T f@)=3.5<4=(s). ATOR CAF s CD SR LAE sci-(acdb). H f(s)=3.5 


交换 bd 


步骤 3-1: 在 互 的 限制 下 构造 解 THIS ae A-NG, H)={ (acbd), } 


步 又 3-2 : 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+5+1+1=7.5 
选择 其 中 最 好 的 解 / 葵 换 解 疡 HL i7 j ~(abde) 
更 新 禁忌 表 H={(bc)1,(bq)2} ， 注 意 禁忌 对 象 (cq) 现 在 已 经 被 解禁 


步骤 3-3 : 由 于 f(D)=7.5>3.5=f(s)， 所 以 最 优 解 "保持 不 变 


图 10.8 用 禁忌 搜索 算法 求解 例 10.2TSP 前 三 代 的 步骤 图 示 
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在 图 10. 8 所 示 的 执行 步 缀 中 ,如 来 算法 继续 进行 的 话 , 由 于 这 时 只 有 对 象 (cd) 不 是 


被 禁忌 的 ,将 会 adil det asia ile meee qr, 该 怎么 办 ? 
在 实际 的 应 用 中 ,通过 选择 更 好 的 禁忌 对 象 ,设置 合理 的 禁忌 期 限 ,或 采用 其 他 更 好 的 参 
数 , 都 可 以 避免 循环 的 出 现 , 从 而 提高 算法 的 性 能 。 
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试 上 机 编程 实现 模拟 退火 算法 ,完成 例 10. 1. 
请 举例 说 明 禁 忌 搜索 算法 邻 域 生成 的 方法 。 
试 上 机 编程 实现 禁忌 搜索 算法 ,完成 例 10. 2, 
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